基于P2P的主題爬行與搜索路由研究.pdf

1、隨著因特網(wǎng)信息量的爆炸式增長，搜索引擎已經(jīng)是有效獲取信息的一種必要手段。為了滿足專門學(xué)科領(lǐng)域和特定主題的搜索用戶要求，主題搜索引擎在數(shù)據(jù)挖掘及信息檢索領(lǐng)域變得越來越受歡迎。
　　 本文在充分研究了搜索引擎工作原理及關(guān)鍵技術(shù)基礎(chǔ)上，重點(diǎn)分析了主題爬蟲在P2P網(wǎng)絡(luò)環(huán)境下實(shí)施的可行性和重要意義，設(shè)計(jì)了一種基于P2P分布式網(wǎng)絡(luò)的主題爬蟲PPSpider的總體框架，并在開源項(xiàng)目Heritrix基礎(chǔ)上，開發(fā)實(shí)現(xiàn)了基于此框架的主題爬蟲PPSp

2、ider，同時(shí)針對(duì)其爬行算法做了改進(jìn)及相關(guān)實(shí)驗(yàn)。本文的主要工作包括：
　　 (1)針對(duì)P2P網(wǎng)絡(luò)環(huán)境下主題模型難以確定的問題，本文首先利用通用的分類目錄建立各個(gè)主題的特征詞庫，再挖掘?qū)Φ裙?jié)點(diǎn)的本地資源建立空間向量模型，通過計(jì)算它與通用分類下各個(gè)主題向量模型的相似度來確定該節(jié)點(diǎn)的主題傾向，進(jìn)而確定主題模型。
　　 (2)針對(duì)通用的初始種子集可能遺漏邊緣信息及隱藏信息的問題，提出了利用節(jié)點(diǎn)本身行為的記錄信息來篩選出本地網(wǎng)頁種

3、子的方法。這樣的初始種子集合不僅能覆蓋熱點(diǎn)網(wǎng)頁，還能有效的覆蓋網(wǎng)絡(luò)邊緣節(jié)點(diǎn)的相關(guān)主題信息，提高了主題爬蟲的覆蓋率。
　　 (3)針對(duì)P2P分布式網(wǎng)絡(luò)下主題節(jié)點(diǎn)頻繁加入退出操作帶來的爬行效率低的問題，提出了一種sortURL機(jī)制來優(yōu)化爬行算法：通過計(jì)算URL的Hash值與節(jié)點(diǎn)Hash值的距離給待爬URL進(jìn)行排序，使得對(duì)等節(jié)點(diǎn)間的重復(fù)爬行頁面數(shù)降低，提高了爬行的效率。由于sortURL對(duì)主題相關(guān)頁面發(fā)現(xiàn)速度有影響，本文進(jìn)一步考慮率s

4、ortURL的改進(jìn)方案sortURL-Depth。
　　 綜上所述，基于P2P分布式網(wǎng)絡(luò)的主題搜索有較廣闊的應(yīng)用前景，而P2P網(wǎng)絡(luò)下的主題爬蟲作為其核心部分也一直成為研究的熱點(diǎn)。本文就此提出了一種建立主題模型的思想，設(shè)計(jì)和開發(fā)了基于P2P網(wǎng)絡(luò)的主題爬蟲PPSpider,并針對(duì)爬行算法做了改進(jìn)，通過挖掘節(jié)點(diǎn)記錄篩選本地種子的實(shí)驗(yàn)結(jié)果表明改進(jìn)的初始種子集能較快地發(fā)現(xiàn)目標(biāo)網(wǎng)頁，而sortURL機(jī)制也能在不改變節(jié)點(diǎn)吞吐率和網(wǎng)絡(luò)開銷的前提