漢語(yǔ)全文相似度計(jì)算的研究及應(yīng)用.pdf

1、語(yǔ)言文字是信息的主要載體，現(xiàn)代社會(huì)對(duì)語(yǔ)言文字處理的要求越來(lái)越高。中文信息處理技術(shù)也隨著計(jì)算機(jī)和因特網(wǎng)普及應(yīng)用，面臨著新的更大的挑戰(zhàn)和機(jī)遇，語(yǔ)言文本處理的研究成為其中基礎(chǔ)而關(guān)鍵的問(wèn)題之一。
　　全文相似度計(jì)算技術(shù)在自動(dòng)文摘、知識(shí)挖掘、機(jī)器翻譯、自動(dòng)問(wèn)答系統(tǒng)、信息檢索及文檔復(fù)制檢測(cè)等領(lǐng)域有著廣泛實(shí)際的應(yīng)用。漢語(yǔ)全文相似度的計(jì)算包含詞語(yǔ)的切分、詞語(yǔ)語(yǔ)義及概念的研究、短語(yǔ)和句型的研究、語(yǔ)料庫(kù)的建設(shè)、語(yǔ)言規(guī)則的研究等方面的內(nèi)容。由于漢語(yǔ)本身

2、的復(fù)雜性和進(jìn)化性，漢語(yǔ)全文相似度的計(jì)算仍處在應(yīng)用起步階段，鑒于信息處理在國(guó)家信息化建設(shè)中的重要地位，對(duì)全文相似度計(jì)算進(jìn)行深入的研究是非常必要的。
　　針對(duì)目前全文相似度計(jì)算存在的問(wèn)題，將基于統(tǒng)計(jì)方法和語(yǔ)言規(guī)則方法相融合來(lái)處理專門領(lǐng)域的問(wèn)題是一個(gè)非常重要的趨勢(shì)，本文做了以下的研究和探索：
　　1．在文本句子層面，總結(jié)了國(guó)內(nèi)外句子相似度計(jì)算方法的研究成果，分析了存在的問(wèn)題和不足，在基于《知網(wǎng)》計(jì)算詞語(yǔ)相似度的基礎(chǔ)上，給出了句子相

3、似度計(jì)算綜合公式，研究了否定副詞在句子相似度計(jì)算中的作用，設(shè)計(jì)了一種含有否定副詞的句子相似度計(jì)算方法，通過(guò)實(shí)驗(yàn)證明，新算法在句子相似度計(jì)算中具有較好的效果。
　　2．在文章層面，對(duì)全文相似度計(jì)算做了全面的分析和研究，總結(jié)了幾種主要的全文相似度計(jì)算方法的優(yōu)缺點(diǎn)，重點(diǎn)研究了基于向量空間模型的全文相似度計(jì)算方法，比較了幾種常見的特征選擇算法效果和應(yīng)用范圍。
　　3．深入研究了具有一定結(jié)構(gòu)形式的文章間相似度計(jì)算問(wèn)題，設(shè)計(jì)了一種文章結(jié)