基于hadoop的分布式網(wǎng)絡(luò)爬蟲(chóng)研究與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的迅速發(fā)展,Web信息呈指數(shù)增長(zhǎng),數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)量大,數(shù)據(jù)種類(lèi)多,實(shí)時(shí)性強(qiáng),價(jià)值大等特點(diǎn),同時(shí)人們對(duì)于方便快捷高效地獲得信息的需求也越來(lái)越強(qiáng)烈,這些需求促進(jìn)了云計(jì)算的快速發(fā)展。在這樣的背景下,谷歌、IBM、Apache和亞馬遜等大型公司爭(zhēng)相發(fā)展云計(jì)算,其中由Apache領(lǐng)導(dǎo)開(kāi)發(fā)的Hadoop平臺(tái)是一個(gè)非常優(yōu)秀的開(kāi)源云計(jì)算處理框架。本文所研究和開(kāi)發(fā)的分布式網(wǎng)絡(luò)爬蟲(chóng)就是在此框架的基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)的。
　　本文在

2、分析了分布式爬蟲(chóng)發(fā)展現(xiàn)狀和研究了Hadoop平臺(tái)的分布式文件系統(tǒng)(HDFS)和計(jì)算模型(Map/Reduce)相關(guān)理論和技術(shù)的基礎(chǔ)上,給出了基于Hadoop的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的總體概要設(shè)計(jì),包括分布式爬蟲(chóng)系統(tǒng)的框架設(shè)計(jì)、基本工作流程設(shè)計(jì)、功能模塊劃分。在概要設(shè)計(jì)的基礎(chǔ)之上進(jìn)行了系統(tǒng)的詳細(xì)設(shè)計(jì)和實(shí)現(xiàn),包括數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的實(shí)現(xiàn)、爬蟲(chóng)總體類(lèi)結(jié)構(gòu)和各個(gè)功能模塊的實(shí)現(xiàn)。最后,對(duì)全文進(jìn)行總結(jié)。本文實(shí)現(xiàn)了一個(gè)基于Hadoop的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),該系