基于主題策略的網(wǎng)絡(luò)爬行器算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，人們?cè)絹碓蕉嗟赝ㄟ^搜索引擎來實(shí)現(xiàn)信息的獲取。從海量數(shù)據(jù)中獲取信息越來越困難，搜索引擎最核心的技術(shù)是網(wǎng)絡(luò)爬行器方法，對(duì)網(wǎng)絡(luò)爬行器的研究、改進(jìn)成為關(guān)鍵。為解決搜索引擎遇到的諸多難題,已經(jīng)產(chǎn)生了目錄搜索引擎、通用搜索引擎、元搜索引擎、主題搜索引擎、人工智能搜索引擎等研究領(lǐng)域。
　　本論文介紹了搜索引擎的組成及網(wǎng)絡(luò)爬行器的主要原理，結(jié)合網(wǎng)頁評(píng)價(jià)方法分析了基于主題策略的網(wǎng)絡(luò)爬行器技術(shù)和網(wǎng)頁隧道穿越技術(shù)，對(duì)比闡述分析了現(xiàn)

2、有的網(wǎng)絡(luò)爬行器的關(guān)鍵算法，如Pagerank算法、HITS算法、Fish Search算法、Shark Search算法、Best First算法、A*算法等。在現(xiàn)有的算法基礎(chǔ)上，提出新的一種評(píng)價(jià)網(wǎng)頁重要性的方法，將網(wǎng)頁鏈接分析和內(nèi)容相關(guān)度結(jié)合起來，構(gòu)造網(wǎng)頁核心度公式和網(wǎng)頁輻射空間，并嘗試將網(wǎng)頁輻射空間與隧道穿越技術(shù)結(jié)合起來，并進(jìn)行了數(shù)學(xué)推理證明，給出了幾個(gè)關(guān)于搜索的定理證明，提出了一種基于主題策略的啟發(fā)式搜索蛙跳算法。最后，利用一種通

3、用的主題爬行器搜索策略性能評(píng)價(jià)系統(tǒng)進(jìn)行了實(shí)驗(yàn)論證，對(duì)比分析了現(xiàn)有算法與啟發(fā)式搜索蛙跳算法性能。
　　本論文創(chuàng)新之處首先在于提出了新的網(wǎng)頁輻射空間的概念，將傳統(tǒng)的網(wǎng)頁重要度計(jì)算方法PAGERANK與HITS進(jìn)行結(jié)合，文本內(nèi)容的相似度計(jì)算方法仍然作為分析評(píng)估網(wǎng)頁內(nèi)容的重要手段。網(wǎng)頁核心度具有更加廣泛的意義，相比單一的網(wǎng)頁鏈接數(shù)計(jì)算或網(wǎng)頁內(nèi)容相似度計(jì)算，雖然計(jì)算量增加了，但是搜索范圍卻大大縮小了，搜索精度也相應(yīng)提高，滿足了主題搜索的性能

4、要求。第二個(gè)創(chuàng)新工作是對(duì)網(wǎng)頁隧道穿越算法的研究。因?yàn)榫植啃畔⒖赡鼙谎蜎]在全局信息之中，傳統(tǒng)主題爬行算法沒有區(qū)分全局相關(guān)性與局部相關(guān)性，將一個(gè)訓(xùn)練好的分類器作用到比其更寬泛的主題網(wǎng)頁上，通常會(huì)得到不相關(guān)的判斷結(jié)果。本論文將網(wǎng)頁隧道穿越分為兩種類型：主題相關(guān)隧道穿越（connected tunneling）和主題非相關(guān)隧道穿越（non-connected tunneling），并提出了相應(yīng)的算法。第三個(gè)創(chuàng)新之處是將啟發(fā)式搜索A*算法應(yīng)用到主