支持動(dòng)態(tài)網(wǎng)頁解析的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)爬蟲技術(shù)，為獲取互聯(lián)網(wǎng)中的數(shù)據(jù)提供最為便捷的方式，它不僅是傳統(tǒng)搜索引擎公司的底層基礎(chǔ)，也是大數(shù)據(jù)時(shí)代獲取web數(shù)據(jù)的利器。近年來，隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，web數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，面對(duì)獲取海量web數(shù)據(jù)的需求，單機(jī)網(wǎng)絡(luò)爬蟲技術(shù)不再實(shí)用，因此，采用分布式的網(wǎng)絡(luò)爬蟲技術(shù)成為獲取海量web數(shù)據(jù)的先決條件。
　　隨著web前端技術(shù)的發(fā)展，反爬蟲技術(shù)的增強(qiáng)，系統(tǒng)復(fù)雜性的增大，爬蟲爬取數(shù)據(jù)時(shí)還存在一些問題:獲取動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)的問題，反網(wǎng)絡(luò)爬

2、蟲的問題，集群穩(wěn)定性的問題。這些問題，嚴(yán)重影響了爬蟲系統(tǒng)獲取目標(biāo)數(shù)據(jù)（用戶所需要的數(shù)據(jù)）的效率。本文在分布式網(wǎng)絡(luò)爬蟲的基礎(chǔ)上，針對(duì)這些問題，進(jìn)行研究并設(shè)計(jì)解決方案。本文主要工作如下:
　　(1)獲取動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)方面:互聯(lián)網(wǎng)中存在大量異步加載的動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)，這些數(shù)據(jù)是普通網(wǎng)絡(luò)爬蟲不能直接獲取的。目前程序切片方法[21]存在算法復(fù)雜度高和精確度低等缺陷，而調(diào)用瀏覽器API的方法[15][16]存在爬取效率低的缺陷。本文提出了一種基于規(guī)

3、則庫(kù)的方法，將網(wǎng)頁分類處理，可以獲取動(dòng)態(tài)網(wǎng)頁和靜態(tài)網(wǎng)頁數(shù)據(jù)，避免了算法復(fù)雜度高和精確度低的缺陷，提高了爬取數(shù)據(jù)效率。
　　(2)應(yīng)對(duì)反網(wǎng)絡(luò)爬蟲方面:大多數(shù)公司會(huì)對(duì)其網(wǎng)站的數(shù)據(jù)進(jìn)行保護(hù)，采用各種技術(shù)手段，以防止被肆意抓取數(shù)據(jù)。目前解決反爬蟲的策略[13][18]，不能應(yīng)對(duì)爬取少量站點(diǎn)中的大量數(shù)據(jù)。本文設(shè)計(jì)了IP代理池策略和類人爬取策略，這些策略采用隨機(jī)更換代理IP的方法和模仿人訪問目標(biāo)站點(diǎn)的方法，可以繞過反爬蟲機(jī)制。
　　(3

4、)集群穩(wěn)定性方面:復(fù)雜的集群系統(tǒng)在長(zhǎng)期運(yùn)行中，可能會(huì)出現(xiàn)節(jié)點(diǎn)不能正常工作或者退出集群系統(tǒng)的現(xiàn)象。目前維護(hù)集群穩(wěn)定性的策略[15][48]存在功能簡(jiǎn)單、丟失任務(wù)等缺陷。本文設(shè)計(jì)了心跳檢測(cè)策略和記錄丟失任務(wù)策略，通過定時(shí)監(jiān)測(cè)節(jié)點(diǎn)發(fā)送的各種消息以及檢測(cè)丟失的任務(wù)，解決節(jié)點(diǎn)不正常工作、掉線以及任務(wù)丟失等問題。
　　(4)經(jīng)濟(jì)成本方面:本文設(shè)計(jì)的爬蟲系統(tǒng)基于靈活訂制的開源框架，可以自由刪減不必要的功能，從而實(shí)現(xiàn)輕量級(jí)的系統(tǒng)，使得集群節(jié)點(diǎn)可以

5、運(yùn)行在樹莓派（只有信用卡大小的微型電腦，其系統(tǒng)基于Linux）之上，為搭建集群降低了經(jīng)濟(jì)成本，以便該系統(tǒng)更實(shí)用于預(yù)算相對(duì)緊張的科研機(jī)構(gòu)、以及中小型企業(yè)。
　　最后，通過設(shè)置對(duì)比實(shí)驗(yàn)，本文設(shè)計(jì)的40個(gè)節(jié)點(diǎn)的分布式爬蟲集群，相比參照實(shí)驗(yàn)的單機(jī)40個(gè)線程的爬蟲，性能至少提高了3-4倍，成本節(jié)省了30％;在獲取動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)方面，設(shè)置了本文設(shè)計(jì)策略和參考文獻(xiàn)策略[15]的對(duì)比試驗(yàn)，實(shí)驗(yàn)表明消耗時(shí)間減少了約39％;在系統(tǒng)穩(wěn)定性和反爬蟲方面，設(shè)