大規(guī)模網(wǎng)頁(yè)相似度算法的研究.pdf

1、互聯(lián)網(wǎng)的誕生和發(fā)展,深刻的改變了人們的生活,激發(fā)并促進(jìn)了人類(lèi)和社會(huì)的進(jìn)化。互聯(lián)網(wǎng)上資源為用戶(hù)提供大量的信息,大大方便信息的獲取和整合,但是這種傳播的便捷性同時(shí)也大大降低轉(zhuǎn)載復(fù)制的成本,于是這些海量信息中就會(huì)存在大量的重復(fù),給用戶(hù)帶來(lái)過(guò)多無(wú)意義的信息和麻煩。因此,如何通過(guò)相似檢索來(lái)獲取真正有價(jià)值的信息成為目前研究的一個(gè)熱點(diǎn)。 相似度算法問(wèn)題是信息檢索領(lǐng)域的一個(gè)重要的研究?jī)?nèi)容。提高相似網(wǎng)頁(yè)的檢測(cè)對(duì)于搜索引擎的抓取、索引、存儲(chǔ)和查詢(xún)都

2、有很大的意義。但是經(jīng)典的文本相似度算法在大規(guī)模數(shù)據(jù)集上檢測(cè)相似網(wǎng)頁(yè)時(shí),時(shí)間和空間復(fù)雜度都太高。本文通過(guò)對(duì)HTML網(wǎng)頁(yè)進(jìn)行解析,采用基于文檔對(duì)象模型和基于視覺(jué)特征的方法抽取網(wǎng)頁(yè)正文。從基于語(yǔ)法的文本相似度研究出發(fā),采用標(biāo)引化、去除停用詞、抽取詞干等文本詞匯分析方法和基于向量空間統(tǒng)計(jì)詞頻、N-gram、抽取最長(zhǎng)句子等文本特征選擇方法,之后對(duì)抽取的特征進(jìn)行MD5和Rabin指紋簽名。 本文的創(chuàng)新點(diǎn)有兩個(gè)方面： 第一,提出基于標(biāo)

3、引詞編輯距離的相似度度量方法,發(fā)明編輯比例EditRate和編輯相似度EditSim兩個(gè)計(jì)算公式,并實(shí)現(xiàn)算法用于機(jī)器標(biāo)注數(shù)據(jù)集,將該度量方法作為其他相似度算法的基線(xiàn)。 第二,提出大規(guī)模網(wǎng)頁(yè)相似度算法FusionSim。FusionSim算法是在SimHash算法的基礎(chǔ)上,融合詞頻統(tǒng)計(jì)、N-gram、抽取最長(zhǎng)句子等一系列算法來(lái)度量網(wǎng)頁(yè)文檔的相似度。FusionSim除了特征選擇的多樣化,還考慮特征在文本中的位置信息和特征之間的相互