基于句子相似度的文本比對算法研究.pdf

1、隨著計(jì)算機(jī)和網(wǎng)絡(luò)的日益普及,各類信息資源共享程度越來越高,給工作和生活帶來極大的便利。人們每天都要獲取和處理大量的信息,如何從海量數(shù)據(jù)中提取有價(jià)值的信息,已經(jīng)成為信息技術(shù)領(lǐng)域的熱門問題。然而,面對海量數(shù)據(jù),現(xiàn)在我們又面臨著另外一個(gè)相反問題:由于計(jì)算機(jī)與網(wǎng)絡(luò)帶來的極大便利,如何鑒別信息的相似性?
　　 基于句子相似度的文本比對算法研究,就是在分析句子構(gòu)成以及句子含義的基礎(chǔ)上,通過某種算法,將目標(biāo)文本和標(biāo)準(zhǔn)文本進(jìn)行相似度計(jì)算,以得出

2、對文本相似程度的判定,為將來進(jìn)行文本比對和鑒定提供依據(jù)。
　　 首先本文對現(xiàn)有常見的詞語、句子以及文本相似度計(jì)算的關(guān)鍵問題進(jìn)行了討論,分析了基于向量空間模型的TF-IDF方法、基于漢明距離的文本相似度計(jì)算方法、隱性語義標(biāo)引、基于屬性論的文本相似度算法、基于語義理解的相似度計(jì)算以及基于知網(wǎng)的相似度算法。
　　 其次,本文對部分相似度算法做了一定程度上的改進(jìn),希望能獲得更好的相似度比較效果。文中也給出了關(guān)于句子相似度的文本比