專業(yè)搜索引擎中網(wǎng)頁去重技術(shù)研究.pdf

1、互聯(lián)網(wǎng)上的資料浩如煙海，網(wǎng)絡(luò)信息呈指數(shù)級增長。一次檢索后的平均返回結(jié)果數(shù)量依然巨大，傳統(tǒng)的搜索引擎動輒返回幾萬、幾十萬篇文檔。其中不乏大量的轉(zhuǎn)載、重復(fù)信息，用戶不得不在結(jié)果中進行篩選。大量的重復(fù)網(wǎng)頁不僅影響搜索引擎系統(tǒng)的搜索精度和搜索效率，同時還浪費大量的數(shù)據(jù)存儲空間。因此，如何快速準(zhǔn)確地發(fā)現(xiàn)并去除這些重復(fù)網(wǎng)頁，已經(jīng)成為提高搜索引擎服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 現(xiàn)有的基于詞頻統(tǒng)計的去重算法具有準(zhǔn)確率高的優(yōu)點，在實際應(yīng)用中效果較

2、好。但是，因為在重復(fù)性判斷過程中需要進行精確的相似度計算。計算量和存儲量巨大，不適合于搜索引擎中大規(guī)模的網(wǎng)頁去重計算。因此，本文在對國內(nèi)外已有算法進行比較和分析的基礎(chǔ)上，針對專業(yè)搜索引擎的特點，對各主要技術(shù)模塊分別進行探討，最后提出了改進的基于詞頻統(tǒng)計的網(wǎng)頁去重算法。
　　 該算法主要分為兩步進行：
　　 第一步，通過計算網(wǎng)頁文檔用詞重疊度，判斷文檔中使用的專業(yè)關(guān)鍵詞集合是否大致相同。以快速粗略判斷兩篇文檔是否可能為重復(fù)