網(wǎng)絡(luò)爬蟲技術(shù)在云平臺(tái)上的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，我們獲取信息的途徑逐漸被網(wǎng)絡(luò)所替代，但與此同時(shí)網(wǎng)絡(luò)信息量以驚人的速度在增長(zhǎng)，面對(duì)這樣海量的數(shù)據(jù)，如何快速、精確的收集到所需數(shù)據(jù)是目前研究的熱點(diǎn)。目前很多公司為了提高抓取效率都采用了分布式網(wǎng)絡(luò)爬蟲技術(shù)，使用多臺(tái)機(jī)器來并行的從互聯(lián)網(wǎng)上抓取網(wǎng)絡(luò)數(shù)據(jù)。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)構(gòu)建在云平臺(tái)上的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，利用云平臺(tái)的多種特性來提高網(wǎng)絡(luò)爬蟲的性能以及可擴(kuò)展性。
　　首先，本文針對(duì)云平臺(tái)的一些特性，以及現(xiàn)有的各種分布式

2、網(wǎng)絡(luò)爬蟲系統(tǒng)的局限性，提出了本文的網(wǎng)絡(luò)爬蟲系統(tǒng)的總體設(shè)計(jì)方案，并將系統(tǒng)按模塊劃分為控制節(jié)點(diǎn)模塊、爬蟲節(jié)點(diǎn)模塊和Web管理頁面模塊。控制節(jié)點(diǎn)主要負(fù)責(zé)URL管理以及虛擬機(jī)管理，URL管理對(duì)新抓取到的URL進(jìn)行URL標(biāo)準(zhǔn)化和基于Redis的布隆過濾器去重后，將其存儲(chǔ)在Redis的待抓取URL隊(duì)列中；虛擬機(jī)管理是利用云平臺(tái)按需申請(qǐng)資源的特點(diǎn)來動(dòng)態(tài)調(diào)節(jié)爬蟲節(jié)點(diǎn)數(shù)量。爬蟲節(jié)點(diǎn)是真正進(jìn)行網(wǎng)頁的抓取工作，包括網(wǎng)頁下載、網(wǎng)頁解析和數(shù)據(jù)存儲(chǔ)，針對(duì)網(wǎng)頁下載設(shè)

3、計(jì)了一種哈希鏈表的DNS緩存數(shù)據(jù)結(jié)構(gòu)，以提高網(wǎng)頁下載速度；網(wǎng)頁解析采用模板化功能增強(qiáng)其通用性；數(shù)據(jù)存儲(chǔ)則是將收集到的大量數(shù)據(jù)存儲(chǔ)在云平臺(tái)的網(wǎng)盤上。Web管理頁面是可視化的管理整個(gè)爬蟲系統(tǒng)，通過Web頁面可創(chuàng)建爬蟲任務(wù)、管理爬蟲任務(wù)和監(jiān)控爬蟲節(jié)點(diǎn)。
　　其次，在設(shè)計(jì)的基礎(chǔ)上對(duì)本文的網(wǎng)絡(luò)爬蟲系統(tǒng)進(jìn)行了具體的實(shí)現(xiàn)。采用了Java語言來開發(fā)本系統(tǒng)的各個(gè)功能模塊，控制節(jié)點(diǎn)與爬蟲節(jié)點(diǎn)間的信息交互使用了Socket編程技術(shù)。網(wǎng)頁下載模塊使用了H

4、ttpClient組件來獲取網(wǎng)頁數(shù)據(jù)，并設(shè)置了多種網(wǎng)頁下載失敗處理措施。網(wǎng)頁解析模塊將正則表達(dá)式、XPath和Css Selector進(jìn)行組合，以鏈?zhǔn)降姆绞匠槿?shù)據(jù)。Web管理頁面是基于Spring MVC框架和Jetty容器來實(shí)現(xiàn)的，使用了JSP、JavaScript、AJAX等Web編程技術(shù)。
　　再次，將本文的網(wǎng)絡(luò)爬蟲系統(tǒng)部署到實(shí)驗(yàn)室的云平臺(tái)上，從功能、性能和可擴(kuò)展性三個(gè)方面對(duì)其進(jìn)行測(cè)試，并對(duì)測(cè)試的結(jié)果進(jìn)行了分析，測(cè)試結(jié)果表