面向主題的網絡爬蟲設計與實現.pdf

1、隨著網絡的飛速發(fā)展，互聯網成為大量信息的載體，如何有效地采集并利用這些信息成為一個巨大的挑戰(zhàn)。通用搜索引擎已經不能滿足人們對個性化信息檢索服務日益增長的需要。近年來，面向主題的搜索引擎應運而生，以提供分類更細致精確、數據更深入、更新更及時的因特網搜索服務。本文著重研究聚焦網絡爬蟲中網頁分類和搜索策略相關算法。 本文首先介紹了垂直搜索引擎中聚焦爬蟲的發(fā)展概況和相關技術，對聚焦爬蟲關鍵技術進行分析和評價，重點介紹了聚焦爬蟲中網頁分類

2、算法和網頁搜索策略，為本文所設計的聚焦爬蟲IL-Crawler(IncrementalLearningCrawler)提供理論基礎。 對于網頁分類，針對中文分詞和向量空間模型導致計算量大、效率低等問題，本文從增量學習的角度出發(fā)，提出了一種網頁識別算法。算法通過分析網頁的特征，從HTML標簽、URL字符、文本內容等方面獲取網頁特征屬性值，采用機器學習算法建立決策樹模型，從而避免中文網頁處理中的中文分詞問題。當算法的識別精度低于預設

3、閥值時，在原有網頁特征中加入誤判網頁特征，從而更新決策樹模型以提高模型識別精度。本文以博客網頁作為實驗對象，結果表明，所提出的算法具有較高的網頁識別精度，能夠有效識別主題網頁。 對于網頁搜索策略，針對Web的動態(tài)性、異構性和復雜性而要求高效搜索策略的問題，本文在分析傳統基于重要度優(yōu)先的搜索策略和基于相關度優(yōu)先的搜索策略基礎上，提出了一種基于多元信息加權協調的搜索策略。由于網頁的多樣化和靈活性，在有限時間和硬件資源約束下，采集最大

4、量的主題相關且重要的網頁，成為聚焦爬蟲最核心的技術之一。本文在上述網頁分類算法的基礎上，利用網頁相關度預測值與網頁重要度預測值進行加權平均，提出了一種主題相關度優(yōu)先兼顧網頁重要度的網頁搜索策略。實驗結果表明，相對于單獨利用重要度或相關度優(yōu)先的搜索策略，多元信息加權協調的搜索策略具有更好的收獲率。 鑒于以上工作，本文最后基于.NET技術，設計并實現了面向博客領域的聚焦爬蟲IL-Crawler，該爬蟲具備分布式數據采集和增量學習能力