基于領(lǐng)域的網(wǎng)絡(luò)爬蟲研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)越來越普及，搜索引擎已經(jīng)成為了人們生活、學(xué)習(xí)、工作中不可缺少的工具，這些通用搜索引擎給我們提供了強(qiáng)大的信息搜尋功能。然而，隨著信息量的越來越大、用戶使用量增多、需求的日益精化，傳統(tǒng)通用搜索引擎信息檢索不夠深入、搜索結(jié)果與需求不匹配等問題越來越突出?；陬I(lǐng)域的垂直搜索引擎應(yīng)運(yùn)而生。
　　基于領(lǐng)域的網(wǎng)絡(luò)爬蟲，是針對某一個行業(yè)的主題信息進(jìn)行抓取，故抓取下來的信息都是滿足了特定需求的用戶深入查詢的需求，具有專、精的特點(diǎn)。

2、　　本文首先詳細(xì)介紹了現(xiàn)有的搜索引擎種類與現(xiàn)狀，闡述了傳統(tǒng)搜索引擎的不足以及主要的抓取策略與抓取算法，并進(jìn)一步分析了這些算法的優(yōu)缺點(diǎn)。并闡述了現(xiàn)有的基于領(lǐng)域網(wǎng)絡(luò)爬蟲的研究熱點(diǎn)。
　　其次本文對現(xiàn)在流行的開源網(wǎng)絡(luò)爬蟲架構(gòu)進(jìn)行了詳細(xì)的介紹，并在此基礎(chǔ)之上選取Heritrix+Lucene搭建了針對手機(jī)信息的爬蟲平臺。之后，分析了Heritrix網(wǎng)絡(luò)爬蟲的設(shè)計結(jié)構(gòu)與擴(kuò)展點(diǎn)，進(jìn)行了一些源碼的改進(jìn)，消除了Heritrix網(wǎng)絡(luò)爬蟲的一些設(shè)計缺

3、陷。針對傳統(tǒng)搜索引擎的缺點(diǎn)，并比較現(xiàn)有的一些領(lǐng)域主題網(wǎng)絡(luò)爬蟲的抓取算法，本文提出全新的基于領(lǐng)域的網(wǎng)絡(luò)爬蟲抓取策略。以Shark-Search主題搜索算法為基礎(chǔ)，在利用VSM模型計算文本相似度時引入概念權(quán)重，構(gòu)建基于手機(jī)信息領(lǐng)域的本體模型以及語義矩陣。根據(jù)標(biāo)題、meta、錨文件、上下文等位置信息設(shè)置文本結(jié)構(gòu)權(quán)重值，進(jìn)一步細(xì)化了領(lǐng)域主題相似度計算方法。本文結(jié)合PageRank改進(jìn)的網(wǎng)頁重要度算法考慮到了父頁面的重要度對子頁面的影響，結(jié)合前面