面向全局完成時間優(yōu)化的多MapReduce作業(yè)調度問題的研究.pdf

1、隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，面對空前膨脹的海量數(shù)據(jù)，云計算得到了快速發(fā)展。在云計算中，MapReduce分布式計算框架已經(jīng)成為目前流行的處理大數(shù)據(jù)的計算模型。MapReduce的并行性和高擴展性，使得程序員在開發(fā)程序的過程中，能夠輕松地使用分布式的資源，有效的完成大規(guī)模分布式計算。在MapReduce分布式計算框架中，作業(yè)調度器通過調度每個作業(yè)的執(zhí)行次序以及資源槽分配規(guī)則使得在調度規(guī)則不同時MapReduce作業(yè)將具有不同的執(zhí)行性能。為了

2、保證MapReduce的執(zhí)行性能，目前針對于MapReduce作業(yè)調度問題已經(jīng)開展了大量的研究工作。
　　本文分析了目前MapReduce作業(yè)調度工作的研究現(xiàn)狀，針對于周期性處理的多I/O密集型MapReduce作業(yè)的全局完成時間優(yōu)化問題，提出了一種面向全局完成時間優(yōu)化的多MapReduce作業(yè)調度框架。在該框架中，針對于具有相同輸入的多MapReduce作業(yè)全局完成時間優(yōu)化問題，提出了一個基于作業(yè)合并收益分析模型的多MapRed

3、uce作業(yè)合并算法，該算法通過對MapReduce作業(yè)處理過程中的I/O資源消耗建模，來衡量MapReduce作業(yè)處理過程中的I/O操作執(zhí)行時間，并在此基礎上給出了多MapReduce作業(yè)合并的增益和代價評價函數(shù)，進而給出了多MapReduce作業(yè)合并問題的數(shù)學模型，提出了一個求解該問題的多MapReduce作業(yè)合并算法，能夠找到最佳的作業(yè)合并方式，實現(xiàn)作業(yè)合并的收益最大。針對于無執(zhí)行次序約束的多MapReduce作業(yè)調度問題，提出了一

4、個基于MapReduce作業(yè)性能評價模型的GMS算法，該算法通過對MapReduce作業(yè)性能評價的建模，估計出Map任務和Reduce任務的執(zhí)行時間，在此基礎上，將MapReduce作業(yè)處理過程抽象為傳統(tǒng)工業(yè)中的兩階段作業(yè)車間調度過程，然后通過分析傳統(tǒng)工業(yè)中Johnson算法解決MapReduce作業(yè)調度問題存在的不足，提出了資源槽分池執(zhí)行的MapReduce作業(yè)調度方式，實現(xiàn)了作業(yè)集全局完成時間的優(yōu)化，提高了集群的利用率。