垂直搜索引擎中主題網(wǎng)絡蜘蛛爬行技術的研究.pdf

1、隨著Internet的飛速發(fā)展,Web的信息量越來越大,通用搜索引擎在信息采集、存儲等方面面臨更大的挑戰(zhàn)。此外,由于通用搜索引擎面向所有的用戶,力爭在返回結果上做到面面俱到,而包羅萬象的結果顯然不能滿足用戶精確搜索的需求,因此,面向專業(yè)領域的搜索引擎即垂直搜索引擎應運而生。
　　網(wǎng)絡蜘蛛是搜索引擎的重要組成部分。通用搜索引擎的網(wǎng)絡蜘蛛(簡稱通用網(wǎng)絡蜘蛛)的目標是要發(fā)現(xiàn)和下載盡可能多的網(wǎng)頁,以使搜索引擎能回答更多的用戶查詢。而垂直搜

2、索引擎的網(wǎng)絡蜘蛛(簡稱主題網(wǎng)絡蜘蛛)的目標是在盡可能少地遍歷Web的前提下,盡可能多地發(fā)現(xiàn)與主題相關的網(wǎng)頁。因此,如何設計一個好的主題網(wǎng)絡蜘蛛是構建垂直搜索引擎的關鍵。本文主要研究的是面向垂直搜索引擎的主題網(wǎng)絡蜘蛛爬行技術。主題網(wǎng)絡蜘蛛在爬行過程中要解決以下幾個關鍵問題:(1)怎樣準確判斷一個已經(jīng)爬取的網(wǎng)頁是否與主題相關;(2)如何決定待爬行URL的訪問次序以提高主題網(wǎng)絡蜘蛛的收獲比;(3)怎樣穿越隧道以提高主題網(wǎng)絡蜘蛛的召回率。

3、>　　對于問題(1)本文分析了頁面主題判別中的兩種算法:主題中心向量法和基于文本分類器的頁面主題判別算法的優(yōu)缺點,并采用文本分類器中的樸素貝葉斯分類器作為本文的頁面主題判別算法;對于問題(2)本文提出了基于分塊提取鏈接上下文的主題預測算法,將網(wǎng)頁分塊技術應用到鏈接上下文提取,這樣提取的鏈接上下文對于鏈接主題的預測具有較高的準確度;對于問題(3)本文改進了隧道技術,提出了基于主題相似度的隧道技術并設計了一種基于主題相似度指導網(wǎng)絡蜘蛛穿越隧