可定制的聚焦網(wǎng)絡(luò)爬蟲.pdf

1、互聯(lián)網(wǎng)中，用戶對信息的需求往往是針對某個領(lǐng)域和面向特定主題的，在這些方面?zhèn)鹘y(tǒng)搜索引擎的召回率和精確率都不能令人滿意。面向主題的垂直搜索引擎的目的是提供分類精確、數(shù)據(jù)全面、更新及時的搜索服務(wù)，在滿足用戶個性化需求方面有獨特的優(yōu)勢。
　　 在性能卓越的搜索引擎背后，都有強大的網(wǎng)絡(luò)爬蟲做后盾，它的性能直接影響搜索引擎的查全率、查準(zhǔn)率。聚焦爬蟲在傳統(tǒng)爬蟲的基礎(chǔ)上實現(xiàn)了對web頁面的主題相關(guān)度的計算和鏈接的主題相關(guān)度評價。聚焦爬蟲作為當(dāng)前

2、的研究熱點之一，由于人類語言概念的模糊、多義性，網(wǎng)絡(luò)信息資源的半結(jié)構(gòu)化特性，使得在主題判斷與評價、自然語言理解、隧道穿越方面存在一些公認(rèn)的難題。
　　 本文提出了一種可定制的聚焦網(wǎng)絡(luò)爬蟲(Customizable Focused Crawler, CFC)，主要內(nèi)容有：
　　 (1)研究并實現(xiàn)了主題的定制算法。在用戶和計算機交流的基礎(chǔ)上，采用基于向量空間模型的方法描述用戶主題信息，讓計算機更好地理解和表達(dá)用戶的興趣。

3、r>　　 (2)實現(xiàn)了Ajax頁面的解析。web2.0已成為互聯(lián)網(wǎng)的主流技術(shù)，越來越多的頁面采用Ajax技術(shù)，對于這樣的頁面，瀏覽器中豐富的文字信息沒有在HTML源文件中出現(xiàn)，因此實現(xiàn)Ajax頁面的解析勢必能提高爬蟲的查全率。本文主要針對在頁面加載函數(shù)中出現(xiàn)的Ajax操作進(jìn)行處理。
　　 (3)對于隧道穿越，本文提出了簡單有效的寬容算法。此算法模仿人的行為特征，在遇到主題不相關(guān)頁面或鏈接時并不立即的拋棄，而是根據(jù)寬容閥值的大小