基于Storm云平臺的分布式網(wǎng)絡(luò)爬蟲技術(shù)研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，許多新型的商業(yè)模式，例如O2O等，被運用到互聯(lián)網(wǎng)上，這導(dǎo)致越來越多的站點在互聯(lián)網(wǎng)上創(chuàng)建，因此互聯(lián)網(wǎng)上所包含的信息資源也就越來越多。在這浩瀚的互聯(lián)網(wǎng)大海中，人們想快速的找到自己想要的信息，搜索引擎的搜索技術(shù)就顯得愈發(fā)重要。而網(wǎng)絡(luò)爬蟲是搜索引擎中很重要的組成部分，這也就對網(wǎng)絡(luò)爬蟲提出了新的挑戰(zhàn)。
　　傳統(tǒng)的單機網(wǎng)絡(luò)爬蟲已經(jīng)不能滿足日益高速增長的數(shù)據(jù)的抓取需求，這導(dǎo)致分布式網(wǎng)絡(luò)爬蟲技術(shù)的出現(xiàn)。分布式網(wǎng)絡(luò)爬蟲利用多臺

2、機器，有效的分工合作，提高了網(wǎng)絡(luò)爬蟲的速度，從而從整體上提升了網(wǎng)絡(luò)爬蟲的性能。
　　本文設(shè)計并實現(xiàn)了一個基于Storm的、可擴展的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，結(jié)合當下流行的新浪微博平臺，將網(wǎng)絡(luò)爬蟲的數(shù)據(jù)源放在新浪微博上。具體來說，本文完成了以下的工作內(nèi)容：
　　1、對本文中的分布式網(wǎng)絡(luò)爬蟲的需求進行了分析，包括對系統(tǒng)要實現(xiàn)的目標、系統(tǒng)的可行性、功能需求和性能需求這四個模塊。其中功能需求分析中確定將本系統(tǒng)分成六大模塊，包括模擬登錄模塊

3、、URL隊列庫模塊、URL鏈接優(yōu)化模塊、網(wǎng)頁下載模塊、網(wǎng)頁解析模塊和網(wǎng)頁存儲模塊，并對每個模塊的需求進行了詳細的闡述。
　　2、針對新浪微博，對本系統(tǒng)的網(wǎng)絡(luò)爬蟲進行了一個詳細設(shè)計，包括數(shù)據(jù)庫的設(shè)計和系統(tǒng)架構(gòu)的設(shè)計。重點介紹了系統(tǒng)的整個架構(gòu)設(shè)計，分別對六個模塊的設(shè)計進行了詳細的說明。
　　3、針對本文實現(xiàn)的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)進行了一個測試，從系統(tǒng)的功能和性能兩個方面對其進行了測試，并對測試的結(jié)果進行分析。
　　4、對本文