基于Hadoop集群的海量數據計算和存儲技術研究.pdf

1、隨著計算機技術、網絡技術和信息技術的發(fā)展，信息量呈爆炸式增長，我們已經生活在數據時代。在當今高度信息化的社會中，互聯網已經成為目前最大的信息系統(tǒng)，其里面的數據具有海量、動態(tài)變化、多樣、異構等特性。而原來傳統(tǒng)的關系型數據庫在應對具有高并發(fā)、大規(guī)模以及TB/PB級的數據量的應用需求是，特別是當今流行的SNS類型的動態(tài)網站，已經顯得力不從心。同時，隨著云計算和云存儲的興起，如何有效地存儲這些海量數據；如何能快速地能這些海量數據進行計算，提出對

2、企業(yè)有價值的信息;以及何如方便地管理這些海量數據，成為當今互聯網企業(yè)在面對海量數據時，碰到的一個技術難題。
　　 本文基于這個問題為出發(fā)點，研究和分析目前在云計算和海量數據存儲和計算方面，比較火熱的云計算平臺Hadoop。其平臺在對海量數據進行存儲和計算方面非常有優(yōu)勢，應用開發(fā)者不需要了解其平臺底層的計算實現細節(jié)，便可以利用其平臺進行分布式應用的開發(fā)，同時，其平臺一般運行在普通廉價的計算機集群上，可以充分利用集群的威力進行運算和

3、存儲，這可以極大地節(jié)約投入硬件的經濟成本。
　　 本文首先介紹本課題的研究背景，研究意義和內容，并簡要的闡述在海量數據存儲和計算方面的云平臺-Hadoop。接著，主要對在海量數據存儲和計算方面的關鍵技術進行介紹，特別是目前火熱的云計算方面的相關計算，其中介紹了云計算的基本概念和其體系架構，以及云計算中的虛擬化技術、并行計算和分布式計算、分布式存儲技術、分布式數據管理技術等關鍵技術。然后，重點研究了Hadoop平臺中的兩個核心組件