文本相似度的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)對生活的影響不斷增加，人們面臨著越來越?jīng)坝康木W(wǎng)絡(luò)數(shù)據(jù)洪流的沖擊，這股數(shù)據(jù)洪流中占比最大的就是文本數(shù)據(jù)。如何處理海量文本數(shù)據(jù)，是人們亟待解決的一個問題。在文本挖掘領(lǐng)域，文本相似度計算技術(shù)是聯(lián)系上層應(yīng)用系統(tǒng)和下層文本表示模型、分詞系統(tǒng)等基礎(chǔ)技術(shù)的紐帶。目前，由于文本的多樣性和復(fù)雜性，還沒有一種對所有應(yīng)用場景都適用的文本相似度算法。因此，如何針對應(yīng)用場景和應(yīng)用數(shù)據(jù)選擇并改進(jìn)文本相似度計算，是一項很有意義和實用價值的研究。本文分別研究

2、了長、短文本的相似度算法，針對現(xiàn)有算法的不足提出了改進(jìn)和創(chuàng)新方法。本文還實現(xiàn)了教改項目-“信息安全競賽平臺”的試題庫管理和查重模塊，針對試題庫系統(tǒng)這個應(yīng)用背景，對本文提出的文本相似度算法進(jìn)行了適當(dāng)?shù)恼{(diào)整和優(yōu)化，達(dá)到了較好的應(yīng)用效果。
　　在研究長文本相似度算法的基礎(chǔ)上，我們發(fā)現(xiàn)目前的長文本所用的向量空間模型(VSM)有以下缺點:1.忽略了特征詞的語義關(guān)聯(lián)。2.特征的加權(quán)算法無法充分反映特征詞的表達(dá)能力。本文針對這些缺點，提出了一個

3、基于關(guān)鍵詞的文本向量空間模型(關(guān)鍵詞VSM)，該模型使用的關(guān)鍵詞集是結(jié)合了文本的結(jié)構(gòu)特征、語義特征和統(tǒng)計特征挑選出來的，能很好的表達(dá)文本的內(nèi)容。用關(guān)鍵詞VSM模型對文本進(jìn)行表示，可以將傳統(tǒng)VSM模型的維度大大降低，并提高特征詞的表達(dá)能力，改進(jìn)算法的效率和準(zhǔn)度。在關(guān)鍵詞VSM模型基礎(chǔ)上，本文將LDA主題模型引入到文本相似度計算中，從文本表層和深層語義主題兩個角度去綜合判斷文本的相似度，提升算法的準(zhǔn)確率。
　　在深入研究短文本相似度算

4、法之后，針對目前短文本相似度算法使用的人工語義知識庫的局限性，本文提出了基于維基百科知識庫作為語義知識庫的計算方法。研究現(xiàn)有的詞語相關(guān)度算法后，提出了結(jié)合維基百科鏈接、分類、文檔三種特征信息的詞匯相關(guān)度計算方法。在運用此方法基礎(chǔ)上，通過最大匹配序列算法求得兩個短文本的最大語義相關(guān)度匹配序列，進(jìn)行短文本語義相關(guān)度的計算。將短文本表層詞語詞序特征和深層語義特征結(jié)合，改進(jìn)短文本的相似度計算質(zhì)量。
　　本文實驗結(jié)果證實了本文提出的算法相對