基于Hadoop的分布式網(wǎng)絡(luò)爬蟲(chóng)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，Web上的網(wǎng)頁(yè)信息迅猛增長(zhǎng)，面對(duì)互聯(lián)網(wǎng)上錯(cuò)綜復(fù)雜、規(guī)模巨大的海量信息時(shí)，單機(jī)網(wǎng)絡(luò)爬蟲(chóng)由于計(jì)算能力和存儲(chǔ)空間的局限性，使得抓取和處理海量數(shù)據(jù)變得十分困難。而由Apache基金會(huì)研發(fā)的Hadoop分布式計(jì)算平臺(tái)在處理和存儲(chǔ)海量數(shù)據(jù)有著高可用性、高伸縮性、高擴(kuò)展性的特點(diǎn)，使Hadoop技術(shù)迅速成為了海量數(shù)據(jù)處理領(lǐng)域的熱門(mén)首選。將網(wǎng)絡(luò)爬蟲(chóng)技術(shù)與Hadoop分布式計(jì)算平臺(tái)結(jié)合組成的分布式網(wǎng)絡(luò)爬蟲(chóng)有效解決了海量網(wǎng)頁(yè)數(shù)據(jù)的抓取、

2、存儲(chǔ)和分析的問(wèn)題。因此基于Hadoop的分布式網(wǎng)絡(luò)爬蟲(chóng)具有十分重要的研究?jī)r(jià)值和意義。本文對(duì)網(wǎng)絡(luò)爬蟲(chóng)中的兩個(gè)算法：鏈接分析算法和URL去重算法進(jìn)行了研究與分析，并針對(duì)算法在Hadoop環(huán)境下的不足進(jìn)行了改進(jìn)優(yōu)化。
　　在網(wǎng)絡(luò)爬蟲(chóng)抓取網(wǎng)頁(yè)后，需要對(duì)抓取下來(lái)的網(wǎng)頁(yè)進(jìn)行重要性的分析，PageRank算法是Google用于標(biāo)識(shí)網(wǎng)頁(yè)的重要性的一種方法，而在大數(shù)據(jù)環(huán)境下，基于Hadoop的PageRank算法中每個(gè)URL的出鏈接都會(huì)作為MapR

3、educe中間結(jié)果輸出，使得Map函數(shù)輸出文件很大，而這些結(jié)果文件需要通過(guò)網(wǎng)絡(luò)傳輸?shù)絉educe端，過(guò)多的時(shí)間消耗在網(wǎng)絡(luò)傳輸上，造成算法的計(jì)算效率低。針對(duì)這一問(wèn)題，本文第四章對(duì)基于Hadoop的PageRank算法進(jìn)行了改進(jìn)，根據(jù)URL鏈接形成的Web圖的特點(diǎn)，對(duì)Web圖進(jìn)行分割，劃分為URL子圖，將子圖內(nèi)與子圖之間PageRank的部分合并計(jì)算轉(zhuǎn)移到 Map階段，減少了Map函數(shù)輸出文件大小，從而降低了MapReduce的中間網(wǎng)絡(luò)傳輸

4、時(shí)間，提高了算法效率。
　　URL去重算法同樣也是網(wǎng)絡(luò)爬蟲(chóng)中的一個(gè)重要算法，URL去重算法在爬蟲(chóng)新抓取的URL加入待抓取隊(duì)列之前，過(guò)濾已經(jīng)抓取過(guò)的重復(fù)URL，使得網(wǎng)絡(luò)爬蟲(chóng)的性能得到提高。本文重點(diǎn)研究了布隆過(guò)濾器去重算法，BloomFilter的占用的空間與元素本身無(wú)關(guān)，有較高的空間效率，插入和查詢(xún)操作的時(shí)間復(fù)雜度也較低，且過(guò)濾器中位數(shù)組也適合并行實(shí)現(xiàn)；但隨著元素的添加，過(guò)濾器的誤判率也隨之增加，將許多無(wú)重復(fù)的URL過(guò)濾，對(duì)爬蟲(chóng)性能