搜索引擎中的相似網頁探測算法研究.pdf

1、相似網頁在互聯網中的大量存在，給搜索引擎帶來了多方面的問題，如爬行程序反復的搜錄同樣內容的網頁給搜索引擎的爬行程序自身及互聯網都帶來了沉重的負擔，由此導致索引的重復與額外存儲空間的消耗，并降低了搜索引擎的性能和用戶體驗。因此，若有效的相似網頁探測算法能夠去除大量的重復網頁，則可以大大減輕搜索引擎的負擔和提升搜索引擎的性能與用戶體驗。 本研究回顧了搜索引擎的發(fā)展歷程、分析了搜索引擎的工作原理，并著重研究了搜索引擎的相似網頁探測算法

2、的現狀，在分析現有算法的優(yōu)勢與不足后，概括了準確有效的相似網頁探測算法所應該具備的兩個基本條件。在經典的Simhash指紋算法和Shingle算法的的基礎上，針對這兩個算法的不足，以上述兩個基本條件為基準，給出了多種改進方案。針對Simhash算法所缺乏的單詞位置信息等，將單詞位置信息融入單詞權重；針對Shingle算法缺乏詞頻特征，于是將全部Shingle的指紋進行疊加。為了進一步改善算法性能，考慮兩個算法的特點，特將兩個算法進行集成