搜索引擎中主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，浩瀚的網(wǎng)絡(luò)信息與人們獲取真正所需信息能力之間的矛盾越來越突出，這就需要搜索引擎技術(shù)的支持。然而面臨互聯(lián)網(wǎng)上呈幾何級數(shù)增長的資源，采集方面已經(jīng)面臨著索引規(guī)模、更新速度以及個性化需求等多方面的挑戰(zhàn)，通用搜索引擎再也不能滿足人們對個性化、專業(yè)化信息檢索服務(wù)不斷增長的需要，建立面向特定領(lǐng)域的主題搜索引擎已經(jīng)成為搜索引擎新的發(fā)展方向，主題搜索引擎被稱為第四代搜索引擎。作為主題搜索引擎中占基礎(chǔ)核心地位的主題爬蟲的研究已經(jīng)成

2、為網(wǎng)絡(luò)數(shù)據(jù)挖掘領(lǐng)域的研究熱點。
　　 本論文主要圍繞主題爬蟲進(jìn)行研究，通過分析主題爬蟲相關(guān)算法，在Heritrix基礎(chǔ)上擴展下載邏輯，使爬蟲采集的頁面更向主題靠攏。主題爬蟲是一種特殊的網(wǎng)絡(luò)爬蟲，其主要目標(biāo)是在有限的時間內(nèi)盡可能多地抓取與設(shè)定主題相關(guān)的網(wǎng)頁，盡可能少的抓取與主題無關(guān)或低質(zhì)量的網(wǎng)頁。主要的研究工作包括：
　　 ①、研究了主題爬蟲的基本結(jié)構(gòu)及相關(guān)理論，深入分析了主題爬蟲的相關(guān)技術(shù)和關(guān)鍵算法，設(shè)計與實現(xiàn)了一種基于

3、模擬退火算法搜索策略的主題爬蟲——SAS-Crawler。
　　 ②、在計算頁面的主題相關(guān)度方面，通過對頁面的結(jié)構(gòu)進(jìn)行分析，根據(jù)不同的標(biāo)簽在頁面中的位置不同來分配不同的權(quán)重，從而使頁面的主題相關(guān)度計算更加準(zhǔn)確。
　　 ③、在預(yù)測鏈接URL所指的目標(biāo)頁面與主題的相關(guān)度方面。綜合考慮了多方面的啟發(fā)信息。如鏈接文本、鏈接上下文信息、父頁面的主題相關(guān)度以及鏈入鏈接數(shù)。由于同時考慮了內(nèi)容和鏈接結(jié)構(gòu)的影響，所以既避免了“主題漂移”，

4、又增大了搜索空間。
　　 ④、在鏈接選擇方面，本文使用了基于模擬退火機制的鏈接選擇策略。由于主題網(wǎng)頁的“隧道”現(xiàn)象，導(dǎo)致了不相關(guān)網(wǎng)頁之后的相關(guān)頁面不容易被搜索到。也就是說即便當(dāng)前頁面與主題不相關(guān)，此頁面中的鏈接所指的目標(biāo)網(wǎng)頁也有可能是主題相關(guān)的。通過使用模擬退火機制的鏈接選擇策略可以很好的限制局部最優(yōu)，下載更多的主題相關(guān)網(wǎng)頁。
　　 ⑤、研究了開源網(wǎng)絡(luò)爬蟲Heritrix，并在Heritrix的基礎(chǔ)上進(jìn)行了一些改進(jìn)。增加