基于主題域的文本相似度系統(tǒng)分析與設(shè)計(jì).pdf

1、在科學(xué)技術(shù)發(fā)展的今天，人們可以通過網(wǎng)絡(luò)很便捷的獲得所需要的信息，網(wǎng)絡(luò)的普及，電子文檔本身具有的粘貼、復(fù)制功能，為一些不法分子提供了便利，它們通過對(duì)他人論文的添加、刪除、修改，來達(dá)到自己的目的。學(xué)術(shù)造假、學(xué)術(shù)剽竊、學(xué)術(shù)腐敗這些現(xiàn)象為學(xué)術(shù)的健康發(fā)展帶來了不良的影響。同時(shí)電子文獻(xiàn)成為人們獲取信息，共享信息的渠道，電子文檔的快速檢索、瀏覽和知識(shí)挖掘等技術(shù)得到了關(guān)注。如何快速準(zhǔn)確的聚類相同或相似文檔，方便科研學(xué)術(shù)成果的快速傳播，為了解決上述需求及

2、技術(shù)的過程中，相近及相似性檢測(cè)問題成為信息理解及檢索的重要環(huán)節(jié)。如何實(shí)現(xiàn)對(duì)論文相似度的快速檢索及精確識(shí)別成為我們急需解決的問題。
　　文本相似度技術(shù)在檢測(cè)文檔是否抄襲、文檔分類、檢索相似文檔等方面應(yīng)用廣泛。格式轉(zhuǎn)化技術(shù)、文檔處理技術(shù)以及相似度計(jì)算算法的發(fā)展，為論文相似度檢測(cè)方法的研究提供了良好的基礎(chǔ)。不同的檢測(cè)方法會(huì)得到不同的結(jié)果，但至今仍然沒有一個(gè)公認(rèn)的算法能夠達(dá)到令人滿意的程度。本文針對(duì)文本相似度系統(tǒng)，做了以下工作:首先對(duì)現(xiàn)有

3、的文本相似度系統(tǒng)做了研究，分析了現(xiàn)有算法的優(yōu)缺點(diǎn)。認(rèn)真學(xué)習(xí)研究了文本相似度計(jì)算所需要的相關(guān)理論知識(shí)和技術(shù)方式。其次，設(shè)計(jì)了一個(gè)基于主題域的文本相似系統(tǒng)，針對(duì)論文特別是學(xué)術(shù)論文各部分的特點(diǎn)進(jìn)行深入的分析，提取文檔的主題域，針對(duì)各個(gè)主題域的特點(diǎn)，采用了不同的相似度檢測(cè)算法，基于語義和基于句子的文本相似度檢測(cè)技術(shù)聯(lián)合使用，各個(gè)主題域并行檢測(cè)計(jì)算相似度。最后計(jì)算論文的加權(quán)相似度。最后，根據(jù)自己設(shè)計(jì)出來的系統(tǒng)進(jìn)行反復(fù)實(shí)驗(yàn)，與傳統(tǒng)的基于空間向量VS