主題爬蟲系統(tǒng)的研究.pdf

1、互聯(lián)網(wǎng)飛速發(fā)展,網(wǎng)絡(luò)上的資源越來越多,獲取所需信息的能力變得非常重要。由于通用搜索引擎的諸多缺點(diǎn),面向特定主題的垂直搜索引擎成為了研究熱點(diǎn)。主題爬蟲作為垂直搜索引擎的數(shù)據(jù)來源,起著關(guān)鍵性的作用。
　　本文通過分析汽車主題網(wǎng)頁,實(shí)現(xiàn)了面向汽車的主題爬蟲系統(tǒng)——CarSpider。在CarSpider系統(tǒng)中,采用相關(guān)字詞組成的特征向量進(jìn)行描述,并利用ODP目錄和搜索引擎選取與汽車有關(guān)的并且具有權(quán)威性的鏈接作為爬蟲的種子URL。由于ht

2、ml代碼的不規(guī)范,采用html Tidy對網(wǎng)頁源碼進(jìn)行整理,并利用網(wǎng)頁的結(jié)構(gòu)采用DOM樹模型對網(wǎng)頁進(jìn)行預(yù)處理。對網(wǎng)頁類型進(jìn)行區(qū)分,針對不同類型的網(wǎng)頁采用不同的方法提取網(wǎng)頁內(nèi)容。采用URL分析法、爬行歷史記錄法和統(tǒng)計(jì)法判斷網(wǎng)頁類型。在提取網(wǎng)頁內(nèi)容塊中的主題相關(guān)信息時(shí),采用向量空間模型來計(jì)算內(nèi)容塊與主題的相關(guān)度。
　　為了提高爬蟲的網(wǎng)頁抓取效率,采用基于網(wǎng)頁內(nèi)容和基于網(wǎng)絡(luò)結(jié)構(gòu)的URL相關(guān)度預(yù)測方法,并提出自適應(yīng)的爬行方法。其中基于網(wǎng)頁

3、內(nèi)容的URL主題相關(guān)度預(yù)測算法通過站點(diǎn)級別、網(wǎng)頁塊級別、鏈接級別三個(gè)級別來計(jì)算待爬行URL的優(yōu)先級;基于網(wǎng)絡(luò)結(jié)構(gòu)的URL相關(guān)度預(yù)測算法充分利用互聯(lián)網(wǎng)的圖結(jié)構(gòu),針對PageRank算法發(fā)現(xiàn)的重要網(wǎng)頁時(shí)不區(qū)分主題的,無法適應(yīng)主題爬行這個(gè)缺點(diǎn),對其進(jìn)行改進(jìn),將相關(guān)度與PageRank算法相結(jié)合,從而使與主題相關(guān)的網(wǎng)頁獲得較高的PageRank值。在網(wǎng)頁消重方面,選擇Bloom Filter進(jìn)行URL消重,利用網(wǎng)頁特征向量進(jìn)行內(nèi)容消重,最大程度