基于分布式的網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)的價值越來越受到人們的重視。海量的網(wǎng)絡(luò)新聞數(shù)據(jù)具有巨大的商業(yè)價值和研究價值，可以通過網(wǎng)絡(luò)爬蟲爬取網(wǎng)絡(luò)新聞數(shù)據(jù)。傳統(tǒng)的單機(jī)網(wǎng)絡(luò)爬蟲不能爬取每天新增的大量網(wǎng)絡(luò)新聞?，F(xiàn)有的爬蟲框架大多數(shù)不支持分布式爬取，已有的分布式爬蟲框架通常是為搜索引擎設(shè)計(jì)的，難以修改框架滿足特定的需求。因此本文設(shè)計(jì)并實(shí)現(xiàn)了一個基于分布式的網(wǎng)絡(luò)爬蟲系統(tǒng)，用于爬取新聞網(wǎng)站上的新聞數(shù)據(jù)。本文的主要工作如下：
　?。?）結(jié)合Storm流計(jì)算框架和

2、Scrapy爬蟲框架，設(shè)計(jì)并實(shí)現(xiàn)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)。Scrapy爬蟲框架不支持分布式爬取，本文在Storm分布式平臺上運(yùn)行Scrapy爬蟲進(jìn)程，實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲的分布式爬取。Trident是對 Storm的高級抽象，不僅支持以數(shù)據(jù)流的方式處理數(shù)據(jù)，而且支持以批處理的方式處理數(shù)據(jù)。本文采用Trident框架實(shí)現(xiàn)Storm分布式平臺，以流處理和批處理的方式處理URL。
　?。?）提出基于多布隆過濾器的 URL去重算法。布隆過濾器是由一個很

3、長的二進(jìn)制位數(shù)組和一系列隨機(jī)均勻分布的哈希函數(shù)組成，可以檢測一個元素是否存在于集合中。布隆過濾器具有誤識別率，將不屬于集合的元素判定為屬于。本文通過使用多個布隆過濾器降低誤識別率，對URL進(jìn)行去重處理。通過測試表明誤識別率隨著本算法使用的布隆過濾器個數(shù)的增加而下降。
　　（3）提出基于優(yōu)先級的廣度優(yōu)先爬行策略。廣度優(yōu)先爬行策略將新聞網(wǎng)站上的網(wǎng)頁分為不同的層次，爬取完同一層的所有網(wǎng)頁后，才爬取下一層的網(wǎng)頁。該策略實(shí)現(xiàn)比較簡單，主要采

4、用一個先進(jìn)先出（FIFO）結(jié)構(gòu)的 URL隊(duì)列。本文將URL的類型分為三種，對不同類型的URL設(shè)定不同的優(yōu)先級，設(shè)計(jì)一個同時具有優(yōu)先級和先進(jìn)先出性質(zhì)的URL隊(duì)列，實(shí)現(xiàn)基于優(yōu)先級的廣度優(yōu)先爬行策略。
　?。?）以遞歸爬取方式提取非結(jié)構(gòu)化數(shù)據(jù)。提取非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)有三種：正則表達(dá)式，BeautifulSoup和 Xpath表達(dá)式。爬取完整的評論數(shù)據(jù)通常需要發(fā)送若干個 HTTP請求，本文以遞歸爬取方式爬取到完整的評論數(shù)據(jù)，將評論數(shù)據(jù)作為