搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)的研究.pdf

1、搜索引擎作為信息檢索技術(shù)在互聯(lián)網(wǎng)時(shí)代的應(yīng)用，使人們能夠更有效的從互聯(lián)網(wǎng)獲取各種資源。但隨著互聯(lián)網(wǎng)的發(fā)展，傳統(tǒng)的搜索引擎，即通用搜索引擎漸漸不能滿足人們對(duì)信息檢索服務(wù)日益增長(zhǎng)的需求。近年來(lái)，面向主題的搜索引擎應(yīng)運(yùn)而生。本文圍繞主題搜索引擎，對(duì)主題搜索引擎中占有重要地位的主題爬蟲(chóng)相關(guān)技術(shù)進(jìn)行了研究和討論。
　　 網(wǎng)絡(luò)爬蟲(chóng)用來(lái)從互聯(lián)網(wǎng)上抓取頁(yè)面。通用爬蟲(chóng)會(huì)從一些種子鏈接開(kāi)始，目標(biāo)是獲取互聯(lián)網(wǎng)上所有的頁(yè)面。而主題爬蟲(chóng)的目標(biāo)是獲取與特定主

2、題內(nèi)容相關(guān)的頁(yè)面，因此除了具有通用爬蟲(chóng)的基本功能外，還需要對(duì)頁(yè)面的內(nèi)容和鏈接進(jìn)行分析從而能夠?qū)ε老x(chóng)爬行的路徑進(jìn)行指導(dǎo)和預(yù)測(cè)。主題網(wǎng)絡(luò)爬蟲(chóng)選擇什么樣的爬行策略對(duì)互聯(lián)網(wǎng)進(jìn)行訪問(wèn)，直接影響著其爬行的效率。本文著重研究并改進(jìn)了基于Context Graph的主題爬行算法，研究工作主要有以下幾個(gè)方面：
　　 (1)研究了搜索引擎中通用網(wǎng)絡(luò)爬蟲(chóng)和主題網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)原理、工作流程，著重分析了主題網(wǎng)絡(luò)爬蟲(chóng)的主題爬行策略，對(duì)主題網(wǎng)絡(luò)爬蟲(chóng)常用的基于

3、鏈接分析的爬行策略和基于內(nèi)容分析的爬行策略進(jìn)行分析比較。
　　 (2)針對(duì)傳統(tǒng)的主題爬行算法不能很好解決“隧道現(xiàn)象”的問(wèn)題，本文詳細(xì)介紹了一種基于Context Graph的主題爬行算法，它通過(guò)預(yù)測(cè)新抓取頁(yè)面在ContextGraph中所處的層次，能夠指導(dǎo)網(wǎng)絡(luò)爬蟲(chóng)沿著最有可能找到目標(biāo)頁(yè)面的路徑爬行，進(jìn)而較好地解決“隧道現(xiàn)象”的問(wèn)題。
　　 (3)使用一種基于詞頻差異的特征選擇方法和改進(jìn)的TF-IDF公式對(duì)基于Contex