云環(huán)境下版本控制及任務(wù)調(diào)度優(yōu)化技術(shù)研究.pdf

1、云計算技術(shù)的快速發(fā)展使得云計算平臺成為支持 IaaS的基礎(chǔ)性設(shè)施，為用戶提供大規(guī)模的虛擬化資源。分布式計算框架如MapReduce和云計算技術(shù)相結(jié)合使得對海量數(shù)據(jù)進(jìn)行挖掘與分析成為可能，直接促進(jìn)了大數(shù)據(jù)時代的到來。
　　本文基于典型的分布式云計算平臺深入研究了虛擬機集群的版本控制問題，同時圍繞MapReduce分布式計算框架下的作業(yè)實時進(jìn)度估計和面向作業(yè)時限的任務(wù)調(diào)度兩個問題開展了研究。本文主要工作具體如下：
　　針對已有方

2、法在處理版本控制問題時，由于需要進(jìn)行不同程度的版本數(shù)據(jù)傳輸和差異數(shù)據(jù)計算，導(dǎo)致耗時長和存儲端負(fù)載壓力大等問題，我們提出了一種新穎的扁平化版本控制方法。該方法在本地增量生成版本，在版本恢復(fù)時使用緩存樹結(jié)構(gòu)按需傳輸版本數(shù)據(jù)。實驗顯示我們的方法能有效地加速大規(guī)模虛擬機集群的版本控制過程，同時將負(fù)載壓力分散在各節(jié)點，避免了性能瓶頸。
　　針對已有方法在對MapReduce作業(yè)進(jìn)度進(jìn)行估計時，由于采取粗粒度的估算方法，或是使用靜態(tài)采樣的方法

3、而未考慮作業(yè)執(zhí)行期間的狀態(tài)動態(tài)變化，導(dǎo)致估計不全面、精度低和實時性不好的問題，我們提出了一種作業(yè)實時進(jìn)度的迭代估計方法。該方法為MapReduce作業(yè)建立三階段模型（Map、非重疊Shuffle和Reduce階段），并在作業(yè)運行期間，基于作業(yè)歷史數(shù)據(jù)和運行狀態(tài)信息來迭代地計算各階段的持續(xù)時間，以準(zhǔn)確地估計出實時的作業(yè)完成時間，并最終將其轉(zhuǎn)換為作業(yè)實時進(jìn)度。實驗結(jié)果表明該方法在反映作業(yè)進(jìn)度實時性變化方面性能提升顯著，同時也有效地提升了作業(yè)

4、實時進(jìn)度的估計精度。
　　針對已有方法在為MapReduce作業(yè)提供滿足時限的功能時，出現(xiàn)的無法在時限前完成作業(yè)和無法在時限內(nèi)處理最大數(shù)據(jù)量的問題，我們提出了一種滿足MapReduce作業(yè)時限的任務(wù)調(diào)度方法。該方法在調(diào)度Map任務(wù)時，使用一種面向作業(yè)時限的迭代-逼近的任務(wù)調(diào)度算法以判斷是繼續(xù)還是終止Map階段。終止Map階段后，作業(yè)剩余未完成部分繼續(xù)執(zhí)行，此時該方法使用一種修正算法以進(jìn)一步確保能在時限前完成作業(yè)，同時校正處理的數(shù)據(jù)