基于領(lǐng)域信息加權(quán)的文本相似度計(jì)算研究與實(shí)現(xiàn).pdf

1、信息資源通過Internet的全球化共享使科學(xué)技術(shù)在各種領(lǐng)域的研究進(jìn)展和成果日益多的得到關(guān)注。在管理有關(guān)學(xué)術(shù)研究方面的信息時(shí)需要對(duì)各種領(lǐng)域的專家信息及其研究項(xiàng)目內(nèi)容信息進(jìn)行有效和有序的管理，其中最關(guān)鍵的技術(shù)是對(duì)文本信息的處理，而文本相似度的計(jì)算是其中非常基礎(chǔ)的問題。本文在實(shí)現(xiàn)文本相似度計(jì)算的過程中針對(duì)包括常用的文本特征選擇方法不完善和文本表示模型考慮因素不全面等問題做了以下工作：
　　1.在文本預(yù)處理階段，基于最大匹配算法并結(jié)合統(tǒng)

2、計(jì)策略建立了一個(gè)分詞系統(tǒng)。該系統(tǒng)的分詞詞典被建立成了雙層哈希結(jié)構(gòu)并通過結(jié)合統(tǒng)計(jì)策略為系統(tǒng)添加了對(duì)未登錄詞的自動(dòng)識(shí)別功能。該方法不僅提高了分詞精度還因詞典的合理有效存儲(chǔ)加快了預(yù)處理的速度。
　　2.在特征選擇時(shí)，通過建立領(lǐng)域特征詞集合對(duì)原始特征進(jìn)行二次選擇。該方法是根據(jù)詞在不同類別中互信息的表征差異，通過計(jì)算詞與不同類別的互信息的差值來實(shí)現(xiàn)的。它在一定程度上抑制了單純使用互信息時(shí)因出現(xiàn)一個(gè)詞在多個(gè)領(lǐng)域中有較大的互信息而產(chǎn)生的特征“噪

3、聲”。
　　3.在相似度計(jì)算時(shí)，結(jié)合文本分類對(duì)以詞作為最小單位生成的TF-IDF項(xiàng)進(jìn)行領(lǐng)域信息的加權(quán)并引入了分類的后驗(yàn)概率作為一個(gè)衡量領(lǐng)域類別信息加權(quán)可信度的指標(biāo)，使分類與加權(quán)形成一個(gè)自適應(yīng)的模式。該方法彌補(bǔ)了傳統(tǒng)TF-IDF忽略詞包含的領(lǐng)域信息（即一個(gè)詞對(duì)特定領(lǐng)域類別的表征能力）這一不足。
　　最后采用復(fù)旦大學(xué)搜集的語料和廣西開發(fā)院科技項(xiàng)目評(píng)估系統(tǒng)中專家的真實(shí)信息作為實(shí)驗(yàn)對(duì)象，對(duì)比了基于傳統(tǒng)互信息和基于建立領(lǐng)域特征詞的方法