分布式網絡爬蟲系統(tǒng)的設計與實現.pdf

1、進入21世紀，互聯網取得了飛速的發(fā)展，其所包含的信息量正在以指數型趨勢高速增長，由此導致人們在這海量的信息中需要花費大量的精力來找尋自己需要的信息，因此人們對于隨時隨地獲取自身所需求信息的渴望越來越強烈。正是基于這一情況，云計算獲得了發(fā)展的契機。全球范圍內包括Google、IBM、Apache和Amazon等大型公司在內，都對云計算投入了大量的人力、物力、財力。其中Apache站在用戶的角度開發(fā)了 Hadoop平臺，是一個開源云計算框架

2、。本文經過研究后開發(fā)的分布式爬蟲系統(tǒng)就是在此框架下設計并且實現的。
　　本文的目的主要是為了設計并實現一個基于Hadoop的分布式爬蟲系統(tǒng)，通過這個系統(tǒng)，實現對大規(guī)模數據采集的任務。同時，該爬蟲系統(tǒng)采集信息類型非常廣泛，能夠對全球多種語言的主流新聞網站進行信息采集。此系統(tǒng)采用分布式信息采集模式。另外，多種語言信息并沒有統(tǒng)一保存在一起，而是進行了獨立保存，這樣能夠為后面跨語言處理提供便利。
　　本文主要研究了以下幾個部分：首先

3、，對云計算相關知識進行具體的介紹；其次，介紹了Hadoop分布式平臺相關知識；再次，通過文獻資料等方法調查了網絡爬蟲原理發(fā)展現狀。
　　上面的研究是本文的一個根本基礎，正是在這個基礎上，我們提出了基于Hadoop的分布式網絡爬蟲系統(tǒng)的設計方案。設計方案不僅包含了系統(tǒng)的設置流程，而且詳細介紹了本系統(tǒng)的基本框架。另外，還包括了系統(tǒng)功能模塊的劃分以及各模塊的Map/Reduce設計。為了進一步完善本系統(tǒng)，本文還對系統(tǒng)做出來更為具體的設計