基于非?？焖偻嘶鹚阉魉惴ǖ闹黝}爬蟲研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展,Web網(wǎng)上的信息資源正在以多元化的形式迅速增長,人們越來越不滿足于大型通用型搜索引擎所提供的服務,開始關注各種各樣的主題式搜索引擎。主題式搜索引擎主要針對某一特定領域、某一特定主題或某一特定人群,提供分類更細致精確、數(shù)據(jù)更全面深入、更新更及時的因特網(wǎng)搜索服務。主題爬蟲是主題式搜索引擎的重要組成部分,主題式搜索引擎中的網(wǎng)頁信息獲取要靠主題爬蟲來完成,因此主題爬蟲以何種搜索策略訪問Web,才能得到較高的搜索效率,如何提

2、高主題爬蟲的爬行準確率等問題是近年來主題搜索引擎研究中的熱點問題。
　　本文首先分析了主題爬蟲的基本結構及工作原理,然后在深入研究人工智能啟發(fā)式模擬退火搜索算法基礎之上,提出了一個將改進后的非?？焖倌M退火搜索算法作為搜索策略的主題爬蟲模型,該模型在主題相似度判斷時采用經(jīng)典的基于向量空間分類方法。最后本文對該模型進行了詳細的實現(xiàn)并對其性能進行了測試。本文的主要研究工作如下:
　　1、設計了一個結構合理、可擴展配置、分布式主題

3、爬蟲模型。
　　2、為提高主題爬蟲的運行速度設計了多線程的網(wǎng)頁信息提取的方法。
　　3、確定主題爬蟲智能的搜索策略。詳細研究和闡述了傳統(tǒng)的模擬退火算法,分析了傳統(tǒng)模擬退火算法作為主題爬蟲搜索策略的缺點,詳細分析了改進的模擬退火算法—非?？焖偻嘶鹚惴ǖ膬?yōu)點,提出將非?？焖倌M退火算法作為搜索策略應用到主題爬蟲之中,從而提高它的性能。
　　4、對傳統(tǒng)的自動生成主題種子頁面的方法進行修改,提出一種新的較為靈活方便的自動生成主