應用于海量數據處理分析的云計算平臺搭建研究.pdf

1、在因特網高速發(fā)展、上網人群急劇增長的今天，對于那些提供網絡服務的互聯網公司來說，每天都會有海量的信息需要處理，用以分析出用戶的需求、各種產品的效果等，往往某些數據分析都會有時間上的要求。對于現實中存儲空間和處理時間的需求，傳統(tǒng)的數據庫系統(tǒng)已很難滿足。本文的主要目的是構建一個成本較低的分布式海量數據處理系統(tǒng)來存儲和處理這些數據。
　　 本文在分析現有分布式計算和存儲等關鍵技術基礎上，結合對Hadoop云計算技術的研究和校園網實際軟

2、硬件條件，為滿足自身的業(yè)務需求，提出了一種基于云計算技術的數據處理模型，并從數據結構設計、系統(tǒng)模塊化、程序流程化和編程技術平臺等方面研究該模型的開發(fā)方法，最后將該模型應用于分布式海量數據搜索引擎。經過以上研究得知，Hadoop云計算平臺的可靠性、高效性、可伸縮性滿足了分布式搜索引擎的技術需求，因此本文選用Hadoop系統(tǒng)作為該應用系統(tǒng)的分布式計算平臺。本文對傳統(tǒng)搜索引擎中爬行、索引、搜索過程中的每一步驟進行詳細分析，并改進了其功能模塊，

3、將非順序執(zhí)行的步驟分解為兩個子任務:數據計算任務及數據合并任務。同時，應用MapReduce編程思想，把所有數據計算任務都封裝到Map函數中，把所有數據合并任務都封裝到Reduce函數中。研究工作主要在于將改進的搜索引擎系統(tǒng)部署在廉價計算機構成的Hadoop云計算環(huán)境中，使之具有較快的響應速度、較高的可靠性及擴展性。本文的主要特點是將經研究提出的模型與實際應用業(yè)務相結合，利用前沿的分布式框架技術較好地滿足了項目需求，并將該模型部署到實際