連接位極大似然Minwise估計(jì)子的研究及應(yīng)用.pdf

1、網(wǎng)絡(luò)的開放性與文本易復(fù)制性為學(xué)術(shù)資源的共享提供方便的同時(shí)，也為項(xiàng)目重復(fù)申報(bào)、多頭申報(bào)等等學(xué)術(shù)不端行為提供了機(jī)會(huì)，為此國(guó)務(wù)院2014年下文（2014[11號(hào)]）要求加強(qiáng)項(xiàng)目查重，避免一題多報(bào)或重復(fù)資助。論文將以基金項(xiàng)目相似性檢查為應(yīng)用背景，研究項(xiàng)目相似性檢查系統(tǒng)中涉及的相似性估計(jì)的關(guān)鍵技術(shù)。在海量文檔數(shù)據(jù)的環(huán)境下，效率和精度成為最制約海量文檔相似性檢測(cè)系統(tǒng)能否可用的因素。縮短算法的運(yùn)算時(shí)間，有效地提高檢測(cè)精度是相似度估計(jì)算法必須考慮的要素

2、。因此，亟待解決問(wèn)題是相似性估計(jì)子精度不足和比對(duì)效率瓶頸等關(guān)鍵問(wèn)題。主要研究?jī)?nèi)容如下：
　?。?）針對(duì)海量項(xiàng)目檢測(cè)中低相似性、高包含率的計(jì)算方差偏大和精度較差的問(wèn)題，論文在連接位估計(jì)子的基礎(chǔ)上，結(jié)合極大似然Minwise估計(jì)子的思路，不僅僅考慮Minvalue相等的概率情況，還將Minvalue大于和小于的概率進(jìn)行綜合考慮，提出一種連接位極大似然Minwise估計(jì)子RMle,c。實(shí)驗(yàn)結(jié)果表明該估計(jì)子其可以成倍提升比對(duì)效率，且估計(jì)精

3、度幾乎無(wú)損失。例如，當(dāng)n=2時(shí)，RMle,c的效率比RMle，RMle,b提升50％，在k>200時(shí)精度無(wú)損失。
　　（2）針對(duì)三者相似性檢測(cè)的精度瓶頸問(wèn)題，結(jié)合極大似然思想和三者M(jìn)inwise相似性估計(jì)模型，綜合考慮比對(duì)過(guò)程中的7種情況，提出了極大似然Minwise三者估計(jì)子R123,Mle，實(shí)驗(yàn)結(jié)果表明，該估計(jì)子的精度比R123,M高10%。針對(duì)三者相似性檢測(cè)的效率瓶頸，提出了連接位三者M(jìn)inwise估計(jì)子R123,b,n，實(shí)

4、驗(yàn)結(jié)果表明，該估計(jì)子其可以成倍提升三者比對(duì)效率，例如，當(dāng)n=2時(shí)，R123,b,n的計(jì)算效率比R123,Mle，R123,M提升了50%。
　?。?）針對(duì)基金項(xiàng)目查重系統(tǒng)的精度不足和檢測(cè)模式單一的問(wèn)題，將連接位極大似然估計(jì)子應(yīng)用到系統(tǒng)中，節(jié)省了60%的對(duì)比時(shí)間；攻破三個(gè)關(guān)鍵問(wèn)題：1）專業(yè)詞庫(kù)和停用詞庫(kù)，使得分詞效果越來(lái)越好，提升了檢測(cè)精度；2）彈性細(xì)粒度檢測(cè)機(jī)制，使得文檔的查重范圍更多層次，對(duì)比更人性化；3）聯(lián)盟式相似性檢測(cè)模塊，