基于Web平臺的可定制垂直爬蟲的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，特別是互聯(lián)網(wǎng)應(yīng)用的普及，產(chǎn)生了海量的、豐富的Web信息資源。為了快速獲取到有用信息，基于通用爬蟲的搜索引擎成為人們用于信息檢索的必備工具。然而，隨著人們對信息的多樣化需求，以及數(shù)據(jù)分析系統(tǒng)對數(shù)據(jù)的內(nèi)容和格式的要求，傳統(tǒng)搜索引擎獲取的信息全而不精的特點(diǎn)，已經(jīng)無法滿足人們的需要。因此，很多基于不同領(lǐng)域的垂直爬蟲應(yīng)運(yùn)而生，以數(shù)據(jù)主題相關(guān)性和結(jié)構(gòu)化程度高的特點(diǎn)，解決了用戶對特定領(lǐng)域垂直數(shù)據(jù)的抽取問題，在電子商務(wù)、房產(chǎn)領(lǐng)

2、域、教育新聞以及專利檢索等領(lǐng)域有所應(yīng)用。
　　但是，目前的垂直爬蟲存在的不足是當(dāng)出現(xiàn)一個新的領(lǐng)域主題，就需要構(gòu)建相應(yīng)的垂直爬蟲，來抽取領(lǐng)域信息，信息聚合能力較低，無法滿足特殊需要，通用性不強(qiáng)。其次，抽取到的內(nèi)容存儲結(jié)構(gòu)混亂，無法對獲取到的信息進(jìn)行有效的管理。另外，對變動的業(yè)務(wù)需求也無法應(yīng)對，擴(kuò)展性低，適用范圍很小，造成資源浪費(fèi)。這些問題導(dǎo)致了用戶或業(yè)務(wù)系統(tǒng)不能得到充分的、可用于分析的數(shù)據(jù)資源，如實(shí)驗(yàn)研究、輿情分析、商品信息比對等。

3、因此，通過實(shí)現(xiàn)垂直爬蟲的定制化功能來解決特定領(lǐng)域的特殊網(wǎng)頁分析，快速地得到豐富的互聯(lián)網(wǎng)信息資源，提高互聯(lián)網(wǎng)信息聚合能力，使得垂直爬蟲系統(tǒng)在數(shù)據(jù)抽取的通用性、靈活性方面的改進(jìn)是本文研究的關(guān)鍵點(diǎn)。
　　因此，本文首先分析了已有的垂直爬蟲的架構(gòu)特點(diǎn)，提出了一個新的架構(gòu)體系，具備分布式、可擴(kuò)展、可定制的特點(diǎn);并基于該框架設(shè)計實(shí)現(xiàn)了一個基于Web平臺的可定制垂直爬蟲系統(tǒng)CVCrawler(Customized Veritcal Crawle

4、r)。本文的主要工作內(nèi)容如下:
　　1.對現(xiàn)有的基于通用爬蟲的搜索引擎存在的不足進(jìn)行分析，進(jìn)而闡述了垂直爬蟲的發(fā)展與研究現(xiàn)狀，針對用戶多樣性需要，引出可定制垂直爬蟲的概念以及相關(guān)知識和技術(shù)。
　　2.考慮到已有爬蟲的擴(kuò)展性和可定制化程度不高的問題，本文將爬蟲的核心功能獨(dú)立出來，提出了一個新的架構(gòu)體系，主要包括頁面獲取、頁面解析、URL管理和內(nèi)容存儲這四大部分，并對這四個部分的功能需求進(jìn)行了分析。其中，頁面獲取的改進(jìn)，可以實(shí)現(xiàn)

5、頁面渲染方式的定制，應(yīng)對靜態(tài)或動態(tài)頁面;頁面解析的改進(jìn)，只需要提供特定頁面的抽取規(guī)則(可自定義的)即可實(shí)現(xiàn)跨主題領(lǐng)域的頁面數(shù)據(jù)抽取;URL管理的改進(jìn)，可以根據(jù)需要來定制去重方式和爬取策略;內(nèi)容存儲的改進(jìn)，可以過濾和轉(zhuǎn)化抽取到原始數(shù)據(jù)，方便保存在文件或關(guān)系型數(shù)據(jù)庫中，為了便于分析，也可以是Key-Value存儲系統(tǒng)。
　　3.基于爬蟲的需求分析，采用Java語言和第三方工具包，詳細(xì)實(shí)現(xiàn)各個模塊的主要功能。在頁面獲取模塊，主要基于ht

6、tp協(xié)議的獲取html頁面，對于動態(tài)頁面，采用內(nèi)置瀏覽器渲染技術(shù)。在頁面解析模塊中，主要采用行塊分布函數(shù)、正則表達(dá)式和Xpath等多種方式來抽取正文內(nèi)容，非常高效靈活，可以應(yīng)對各種復(fù)雜的html結(jié)構(gòu)。在URL管理中，采用基于廣度優(yōu)先原理的隊列來保存和提取URL，采用哈希表和布隆過濾器來實(shí)現(xiàn)URL去重。在內(nèi)容存儲模塊，與頁面抽取分離，將抽取到的內(nèi)容處理成結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，利用JDBC技術(shù)保存在MySQL中。
　　4.在相關(guān)理論研