云計算中MapReduce并行計算平臺的研究.pdf

1、云計算作為IT產(chǎn)業(yè)的新生力量，是下一代網(wǎng)絡(luò)服務(wù)技術(shù)發(fā)展的核心趨勢。建立在現(xiàn)有的網(wǎng)絡(luò)技術(shù)上，云計算采用虛擬化技術(shù)在硬件設(shè)備與操作平臺之間建立擁有近乎實時伸縮性的虛擬機鏡像。這些虛擬機以服務(wù)形式出售，并可按照客戶需求進行個性化定制，為客戶提供虛擬化的計算、內(nèi)存和存儲等資源。在21世紀信息爆發(fā)時代，云計算技術(shù)為大數(shù)據(jù)處理的核心技術(shù)-并行計算，提供了一個良好的運行環(huán)境。但是，傳統(tǒng)的并行計算框架如MapReduce主要是為靜態(tài)同構(gòu)的計算環(huán)境設(shè)計的

2、。MapReduce主要運行在物理機器中。然而，云計算提供了彈性和成本高效的虛擬機作為計算資源。在云計算中，通過虛擬機監(jiān)督器，虛擬機的資源可根據(jù)用戶的實際業(yè)務(wù)需求動態(tài)配置，這說明云計算環(huán)境是動態(tài)異構(gòu)的。所以，在云計算中，需要完善現(xiàn)有的MapReduce機制。
　　本課題提出MapReduce動態(tài)資源調(diào)整機制，優(yōu)化傳統(tǒng)MapReduce機制，使得MapReduce動態(tài)資源調(diào)整機制可充分利用云計算的動態(tài)異構(gòu)特性。本課題的研究分成作業(yè)運

3、行前和作業(yè)運行時兩個部分。首先在作業(yè)運行前通過數(shù)據(jù)抽樣分析將待運行作業(yè)劃分為計算密集型或數(shù)據(jù)密集型作業(yè)。上述兩種類型的作業(yè)對虛擬機有不同的資源需求。本課題在MapReduce作業(yè)運行前為不同類型的作業(yè)分配不同資源配置的虛擬機以達到資源利用最大化，從而充分提高MapReduce的性能。然后在作業(yè)運行時，根據(jù)虛擬機的資源負載情況動態(tài)調(diào)整虛擬機資源。由于經(jīng)濟成本的限制，本課題采用實驗研究的方法，對資源負載的閾值和其他因素值的設(shè)定給出相應(yīng)的建議