基于Hadoop集群的海量數(shù)據(jù)計(jì)算和存儲技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和信息技術(shù)的發(fā)展，信息量呈爆炸式增長，我們已經(jīng)生活在數(shù)據(jù)時(shí)代。在當(dāng)今高度信息化的社會中，互聯(lián)網(wǎng)已經(jīng)成為目前最大的信息系統(tǒng)，其里面的數(shù)據(jù)具有海量、動態(tài)變化、多樣、異構(gòu)等特性。而原來傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)對具有高并發(fā)、大規(guī)模以及TB/PB級的數(shù)據(jù)量的應(yīng)用需求是，特別是當(dāng)今流行的SNS類型的動態(tài)網(wǎng)站，已經(jīng)顯得力不從心。同時(shí)，隨著云計(jì)算和云存儲的興起，如何有效地存儲這些海量數(shù)據(jù)；如何能快速地能這些海量數(shù)據(jù)進(jìn)行計(jì)算，提出對

2、企業(yè)有價(jià)值的信息;以及何如方便地管理這些海量數(shù)據(jù)，成為當(dāng)今互聯(lián)網(wǎng)企業(yè)在面對海量數(shù)據(jù)時(shí)，碰到的一個(gè)技術(shù)難題。
　　 本文基于這個(gè)問題為出發(fā)點(diǎn)，研究和分析目前在云計(jì)算和海量數(shù)據(jù)存儲和計(jì)算方面，比較火熱的云計(jì)算平臺Hadoop。其平臺在對海量數(shù)據(jù)進(jìn)行存儲和計(jì)算方面非常有優(yōu)勢，應(yīng)用開發(fā)者不需要了解其平臺底層的計(jì)算實(shí)現(xiàn)細(xì)節(jié)，便可以利用其平臺進(jìn)行分布式應(yīng)用的開發(fā)，同時(shí)，其平臺一般運(yùn)行在普通廉價(jià)的計(jì)算機(jī)集群上，可以充分利用集群的威力進(jìn)行運(yùn)算和

3、存儲，這可以極大地節(jié)約投入硬件的經(jīng)濟(jì)成本。
　　 本文首先介紹本課題的研究背景，研究意義和內(nèi)容，并簡要的闡述在海量數(shù)據(jù)存儲和計(jì)算方面的云平臺-Hadoop。接著，主要對在海量數(shù)據(jù)存儲和計(jì)算方面的關(guān)鍵技術(shù)進(jìn)行介紹，特別是目前火熱的云計(jì)算方面的相關(guān)計(jì)算，其中介紹了云計(jì)算的基本概念和其體系架構(gòu)，以及云計(jì)算中的虛擬化技術(shù)、并行計(jì)算和分布式計(jì)算、分布式存儲技術(shù)、分布式數(shù)據(jù)管理技術(shù)等關(guān)鍵技術(shù)。然后，重點(diǎn)研究了Hadoop平臺中的兩個(gè)核心組件