基于P2P的主題爬行與搜索路由研究.pdf

1、隨著因特網(wǎng)信息量的爆炸式增長，搜索引擎已經(jīng)是有效獲取信息的一種必要手段。為了滿足專門學科領(lǐng)域和特定主題的搜索用戶要求，主題搜索引擎在數(shù)據(jù)挖掘及信息檢索領(lǐng)域變得越來越受歡迎。
　　 本文在充分研究了搜索引擎工作原理及關(guān)鍵技術(shù)基礎(chǔ)上，重點分析了主題爬蟲在P2P網(wǎng)絡(luò)環(huán)境下實施的可行性和重要意義，設(shè)計了一種基于P2P分布式網(wǎng)絡(luò)的主題爬蟲PPSpider的總體框架，并在開源項目Heritrix基礎(chǔ)上，開發(fā)實現(xiàn)了基于此框架的主題爬蟲PPSp

2、ider，同時針對其爬行算法做了改進及相關(guān)實驗。本文的主要工作包括：
　　 (1)針對P2P網(wǎng)絡(luò)環(huán)境下主題模型難以確定的問題，本文首先利用通用的分類目錄建立各個主題的特征詞庫，再挖掘?qū)Φ裙?jié)點的本地資源建立空間向量模型，通過計算它與通用分類下各個主題向量模型的相似度來確定該節(jié)點的主題傾向，進而確定主題模型。
　　 (2)針對通用的初始種子集可能遺漏邊緣信息及隱藏信息的問題，提出了利用節(jié)點本身行為的記錄信息來篩選出本地網(wǎng)頁種

3、子的方法。這樣的初始種子集合不僅能覆蓋熱點網(wǎng)頁，還能有效的覆蓋網(wǎng)絡(luò)邊緣節(jié)點的相關(guān)主題信息，提高了主題爬蟲的覆蓋率。
　　 (3)針對P2P分布式網(wǎng)絡(luò)下主題節(jié)點頻繁加入退出操作帶來的爬行效率低的問題，提出了一種sortURL機制來優(yōu)化爬行算法：通過計算URL的Hash值與節(jié)點Hash值的距離給待爬URL進行排序，使得對等節(jié)點間的重復爬行頁面數(shù)降低，提高了爬行的效率。由于sortURL對主題相關(guān)頁面發(fā)現(xiàn)速度有影響，本文進一步考慮率s

4、ortURL的改進方案sortURL-Depth。
　　 綜上所述，基于P2P分布式網(wǎng)絡(luò)的主題搜索有較廣闊的應(yīng)用前景，而P2P網(wǎng)絡(luò)下的主題爬蟲作為其核心部分也一直成為研究的熱點。本文就此提出了一種建立主題模型的思想，設(shè)計和開發(fā)了基于P2P網(wǎng)絡(luò)的主題爬蟲PPSpider,并針對爬行算法做了改進，通過挖掘節(jié)點記錄篩選本地種子的實驗結(jié)果表明改進的初始種子集能較快地發(fā)現(xiàn)目標網(wǎng)頁，而sortURL機制也能在不改變節(jié)點吞吐率和網(wǎng)絡(luò)開銷的前提