基于在線增量學習的自適應聚焦爬蟲研究

1、基于在線增量學習的自適應聚焦爬蟲研究.txt人生在世，難敵宿命，沉淪其中。我不愛風塵，似被前緣誤??！我只為我最愛的人流淚“我會學著放棄你，是因為我太愛你”贏了你我可以放棄整個世界本文由fatcat132006貢獻pdf文檔可能在WAP端瀏覽體驗不佳。建議您優(yōu)先選擇TXT，或下載源文件到本機查看。第26卷第5期2009年5月計算機應用與軟件ComputerApplicationsSoftware基于在線增量學習的自適應聚焦爬蟲研究朱婷12

2、12滕桂法陸浩張長利曾大軍1222(河北農業(yè)大學信息科學與技術學院河北保定071001)(中科院自動化所復雜系統(tǒng)與智能科學實驗室北京100190)摘要在原始分類器聚焦爬蟲的基礎上設計并實現(xiàn)在線增量學習的自適應聚焦爬蟲。該聚焦爬蟲包括一個基礎網頁分類器和一個在線增量學習自適應鏈接分類器?；A頁面分類器根據領域知識對抓取到的頁面內容主題相關性進行分類。在線增量學習自適應鏈接分類器能即時根據爬蟲爬得網頁和網頁鏈接信息作出分類模型調整以更合理方

3、式計算鏈接的主題相關度。系統(tǒng)中鏈接排序模塊采用TopicalRank主題相關度計算方法分析鏈接優(yōu)先抓取順序。把基于增量學習的自適應聚焦爬蟲應用到農業(yè)領域實驗結果和分析證明在線增量學習的自適應聚焦爬蟲在農業(yè)領域爬行性能比僅基于網頁相關性和鏈接重要度的原始分類器聚焦爬蟲具有更好的性能。關鍵詞在線增量學習TopicalRank聚焦爬蟲農業(yè)領域隨著Inter的快速發(fā)展網絡資源成為巨大的知識庫搜索引擎已經成為網絡用戶獲取各種信息的一種重要手段。目

4、前如Google、Baidu等大多數是面向所有信息的搜索引擎可以稱之為通用搜索引擎。隨著信息多元化的增長適用于所有用戶的通用搜索引擎已經不能滿足特定用戶更深入的查詢需求他們對信息的需求往往是針對特定領域和面向特定主題的此時通用搜索引擎的搜索效果難以滿足有特定需求的用戶。針對這種情況一個分類精確、數據全面、更新及時的面向主題的搜索引擎———垂直搜索引擎應運而生。聚焦爬蟲是一個自動提取網頁的程序它為垂直搜索引擎從萬維網上下載網頁是垂直搜索引

5、擎的重要組成部分。它根據抓取目標有選擇地訪問網頁和相關的鏈接并獲取所需要的AbstractAnadaptivefocusedcrawlerofonline2incrementallearningbasedonprimitiveclassificationfocusedcrawlerisdesignedre2perfmancethantheprimitiveclassifierfocusedcrawlerbasedonlyonwebpag

6、es’crelationlinkimptancedegree.KeywdsOnline2IncrementallearningTopicalRankFocusedcrawlerAgriculturefieldalizedinthisarticle.Thecrawler’architectureincludesabasicwebpageclassifieranonline2incrementallearningadaptivelinkcl

7、assifiers.incrementallearningurl所指網頁。爬行模塊采用開源網絡爬蟲Heritrix框架來實現(xiàn)它的出色之處在于可擴展性通過擴展它的組件來實現(xiàn)自定義的抓取邏輯。爬行模塊在抓取中可以獲取完整、精確的站點內容包括文本和非文本信息將內容存儲到爬蟲數據庫。爬行模塊采用多線程技術以提高系統(tǒng)的處理速度。圖1基于分類器聚焦爬蟲體系結構[1]根據一個主題目錄和用戶指定的初始點(如書簽)來描述抓取目標并在用戶瀏覽過程中將用戶標

8、注的感興趣網頁放人相應的主題目錄修改主題樣本。系統(tǒng)的兩個主要部分是網頁分類器(classifier)和網頁選擇器(distiller)。網頁分類器負責學習抓取目標的特點計算網頁的關聯(lián)度并過濾網頁。選擇器負責計算網頁的重要程度發(fā)現(xiàn)中心型網頁并由此動態(tài)決定網頁的訪問順序。早期的聚焦爬蟲不考慮鏈接主題相關性分析直接在網頁分類器主題相關性分析后把保留下來的正向鏈接放到鏈接排序模塊等待爬行url優(yōu)先隊列提供給爬蟲繼續(xù)爬行。一般采用以PageRan

9、k[2]和HITS[3]為代表的基于網頁鏈接結構的搜索策略通過分析網頁之間的相互鏈接關系來確定網頁的重要性進而決定鏈接訪問順序。該方法考慮了鏈接結構和網頁之間的相互鏈接關系但忽略了頁面與主題的相關性。大量研究表明PageRank算法只適合于發(fā)現(xiàn)權威網頁不適合發(fā)現(xiàn)主題資源2.2基礎網頁分類器基礎網頁分類器通過農業(yè)領域知識庫來指導訓練這里設計的是一個NaveBayes分類器。研究表明NaveBayes是較快的一種分類方法效果也較好理論上錯誤

10、率最低。該方法對于文本di求條件概率P(cj|di)條件概率最大的那個類別作為最終選擇類別計算時引入Term獨立性假設。Beyes公式如下:p(cj|di)=p(di|cj)p(cj)∝p(di|cj)p(cj)p(di)r其中p(di|cj)=∏p(wk=1ik|cj)ter獨立性假設。m=N(cj)p(cj)=cj的文檔個數總文檔個數∑N(c)kk在某些情況下HITS會出現(xiàn)搜索偏離主題的“主題漂移”。問題p(w|cj)=w在cj類別

11、文檔中出現(xiàn)的次數cj類文檔中所有出現(xiàn)的ter的次數m2增量自適應聚焦爬蟲設計在基于分類器聚焦爬蟲的基礎上為提高爬蟲高效、準確的領域爬行性能僅考慮鏈接重要性是不夠的。本系統(tǒng)添加一個在線學習鏈接分類器對鏈接的主題相關性進行分類它能通過學習來改進鏈接主題相關性的判斷能力。并在鏈接排序模塊采用TopicalRank考慮頁面主題相關性和正向鏈接主題相關性相結合的url優(yōu)先排序策略。增量自適應聚焦爬蟲系統(tǒng)由四個主要模塊組成:爬行模塊、基礎網頁分類器