連接位極大似然Minwise估計子的研究及應(yīng)用.pdf

1、網(wǎng)絡(luò)的開放性與文本易復(fù)制性為學(xué)術(shù)資源的共享提供方便的同時，也為項目重復(fù)申報、多頭申報等等學(xué)術(shù)不端行為提供了機會，為此國務(wù)院2014年下文（2014[11號]）要求加強項目查重，避免一題多報或重復(fù)資助。論文將以基金項目相似性檢查為應(yīng)用背景，研究項目相似性檢查系統(tǒng)中涉及的相似性估計的關(guān)鍵技術(shù)。在海量文檔數(shù)據(jù)的環(huán)境下，效率和精度成為最制約海量文檔相似性檢測系統(tǒng)能否可用的因素?？s短算法的運算時間，有效地提高檢測精度是相似度估計算法必須考慮的要素

2、。因此，亟待解決問題是相似性估計子精度不足和比對效率瓶頸等關(guān)鍵問題。主要研究內(nèi)容如下：
　?。?）針對海量項目檢測中低相似性、高包含率的計算方差偏大和精度較差的問題，論文在連接位估計子的基礎(chǔ)上，結(jié)合極大似然Minwise估計子的思路，不僅僅考慮Minvalue相等的概率情況，還將Minvalue大于和小于的概率進(jìn)行綜合考慮，提出一種連接位極大似然Minwise估計子RMle,c。實驗結(jié)果表明該估計子其可以成倍提升比對效率，且估計精

3、度幾乎無損失。例如，當(dāng)n=2時，RMle,c的效率比RMle，RMle,b提升50％，在k>200時精度無損失。
　?。?）針對三者相似性檢測的精度瓶頸問題，結(jié)合極大似然思想和三者M(jìn)inwise相似性估計模型，綜合考慮比對過程中的7種情況，提出了極大似然Minwise三者估計子R123,Mle，實驗結(jié)果表明，該估計子的精度比R123,M高10%。針對三者相似性檢測的效率瓶頸，提出了連接位三者M(jìn)inwise估計子R123,b,n，實

4、驗結(jié)果表明，該估計子其可以成倍提升三者比對效率，例如，當(dāng)n=2時，R123,b,n的計算效率比R123,Mle，R123,M提升了50%。
　　（3）針對基金項目查重系統(tǒng)的精度不足和檢測模式單一的問題，將連接位極大似然估計子應(yīng)用到系統(tǒng)中，節(jié)省了60%的對比時間；攻破三個關(guān)鍵問題：1）專業(yè)詞庫和停用詞庫，使得分詞效果越來越好，提升了檢測精度；2）彈性細(xì)粒度檢測機制，使得文檔的查重范圍更多層次，對比更人性化；3）聯(lián)盟式相似性檢測模塊，