網頁搜索器中網頁數據維護算法的研究與改進.pdf

1、現有的網頁數據維護算法中,"按網頁變化頻率更新網頁"和"祛除鏡像網頁"是兩種很好的網頁數據維護方法.通過按網頁變化頻率類別更新網頁,我們可以近似做到每次去更新變化了的網頁,而不用訪問沒變化的網頁;發(fā)現并祛除鏡像網頁,可以避免搜索器維護多個有相同或近似內容的網頁,節(jié)約系統(tǒng)的存儲空間,這兩個方法都可以極大的減少對網站的不必要訪問.對這兩個方法的深入研究,我們發(fā)現存在著兩個有待改進的問題.具體問題及改進算法如下:一.變化頻率分類:現有的網頁變

2、化頻率分類只是通過參考過去一段時間內網頁是否變化這個特征來進行變化頻率分類,該算法的分類時間長,且對于剛下載的網頁,該方法無法分類.該文中,我們結合對網頁的動靜態(tài)特征、域名特征、緩存特征的分析,提出了一種改進的分類方法,使用該種方法,我們無須檢查網頁是否變化就可以進行變化頻率分類,并且可以減小分類需要的時間,提高分類速度.二.鏡像網頁的祛除:即對已經發(fā)現的互為鏡像的n個網頁,我們應該保留哪個網頁,而去掉其余n-1個網頁?一般的方法是按發(fā)

3、現順序保留第一個,去掉其余的鏡像,或是隨機選取其中一個,去掉其余鏡像.這些方法都沒有考慮網頁的重要性.該文中我們提出了一種與PageRank算法相結合的最優(yōu)策略,即先計算出所有網頁的PageRank值,然后對于相同的鏡像保留PageRank值最高(即最重要的)的網頁,祛除其余網頁.使用這種方法,我們可以確保系統(tǒng)中維護的都是高質量的網頁.最后,作為論文的一部分,我們實現了一個綜合使用上述改進算法的網頁搜索器,并進行了為時2個月的實驗,該實