專(zhuān)業(yè)搜索引擎中網(wǎng)頁(yè)去重技術(shù)研究.pdf

1、互聯(lián)網(wǎng)上的資料浩如煙海，網(wǎng)絡(luò)信息呈指數(shù)級(jí)增長(zhǎng)。一次檢索后的平均返回結(jié)果數(shù)量依然巨大，傳統(tǒng)的搜索引擎動(dòng)輒返回幾萬(wàn)、幾十萬(wàn)篇文檔。其中不乏大量的轉(zhuǎn)載、重復(fù)信息，用戶(hù)不得不在結(jié)果中進(jìn)行篩選。大量的重復(fù)網(wǎng)頁(yè)不僅影響搜索引擎系統(tǒng)的搜索精度和搜索效率，同時(shí)還浪費(fèi)大量的數(shù)據(jù)存儲(chǔ)空間。因此，如何快速準(zhǔn)確地發(fā)現(xiàn)并去除這些重復(fù)網(wǎng)頁(yè)，已經(jīng)成為提高搜索引擎服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 現(xiàn)有的基于詞頻統(tǒng)計(jì)的去重算法具有準(zhǔn)確率高的優(yōu)點(diǎn)，在實(shí)際應(yīng)用中效果較

2、好。但是，因?yàn)樵谥貜?fù)性判斷過(guò)程中需要進(jìn)行精確的相似度計(jì)算。計(jì)算量和存儲(chǔ)量巨大，不適合于搜索引擎中大規(guī)模的網(wǎng)頁(yè)去重計(jì)算。因此，本文在對(duì)國(guó)內(nèi)外已有算法進(jìn)行比較和分析的基礎(chǔ)上，針對(duì)專(zhuān)業(yè)搜索引擎的特點(diǎn)，對(duì)各主要技術(shù)模塊分別進(jìn)行探討，最后提出了改進(jìn)的基于詞頻統(tǒng)計(jì)的網(wǎng)頁(yè)去重算法。
　　 該算法主要分為兩步進(jìn)行：
　　 第一步，通過(guò)計(jì)算網(wǎng)頁(yè)文檔用詞重疊度，判斷文檔中使用的專(zhuān)業(yè)關(guān)鍵詞集合是否大致相同。以快速粗略判斷兩篇文檔是否可能為重復(fù)