面向全局完成時(shí)間優(yōu)化的多MapReduce作業(yè)調(diào)度問(wèn)題的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，面對(duì)空前膨脹的海量數(shù)據(jù)，云計(jì)算得到了快速發(fā)展。在云計(jì)算中，MapReduce分布式計(jì)算框架已經(jīng)成為目前流行的處理大數(shù)據(jù)的計(jì)算模型。MapReduce的并行性和高擴(kuò)展性，使得程序員在開(kāi)發(fā)程序的過(guò)程中，能夠輕松地使用分布式的資源，有效的完成大規(guī)模分布式計(jì)算。在MapReduce分布式計(jì)算框架中，作業(yè)調(diào)度器通過(guò)調(diào)度每個(gè)作業(yè)的執(zhí)行次序以及資源槽分配規(guī)則使得在調(diào)度規(guī)則不同時(shí)MapReduce作業(yè)將具有不同的執(zhí)行性能。為了

2、保證MapReduce的執(zhí)行性能，目前針對(duì)于MapReduce作業(yè)調(diào)度問(wèn)題已經(jīng)開(kāi)展了大量的研究工作。
　　本文分析了目前MapReduce作業(yè)調(diào)度工作的研究現(xiàn)狀，針對(duì)于周期性處理的多I/O密集型MapReduce作業(yè)的全局完成時(shí)間優(yōu)化問(wèn)題，提出了一種面向全局完成時(shí)間優(yōu)化的多MapReduce作業(yè)調(diào)度框架。在該框架中，針對(duì)于具有相同輸入的多MapReduce作業(yè)全局完成時(shí)間優(yōu)化問(wèn)題，提出了一個(gè)基于作業(yè)合并收益分析模型的多MapRed

3、uce作業(yè)合并算法，該算法通過(guò)對(duì)MapReduce作業(yè)處理過(guò)程中的I/O資源消耗建模，來(lái)衡量MapReduce作業(yè)處理過(guò)程中的I/O操作執(zhí)行時(shí)間，并在此基礎(chǔ)上給出了多MapReduce作業(yè)合并的增益和代價(jià)評(píng)價(jià)函數(shù)，進(jìn)而給出了多MapReduce作業(yè)合并問(wèn)題的數(shù)學(xué)模型，提出了一個(gè)求解該問(wèn)題的多MapReduce作業(yè)合并算法，能夠找到最佳的作業(yè)合并方式，實(shí)現(xiàn)作業(yè)合并的收益最大。針對(duì)于無(wú)執(zhí)行次序約束的多MapReduce作業(yè)調(diào)度問(wèn)題，提出了一

4、個(gè)基于MapReduce作業(yè)性能評(píng)價(jià)模型的GMS算法，該算法通過(guò)對(duì)MapReduce作業(yè)性能評(píng)價(jià)的建模，估計(jì)出Map任務(wù)和Reduce任務(wù)的執(zhí)行時(shí)間，在此基礎(chǔ)上，將MapReduce作業(yè)處理過(guò)程抽象為傳統(tǒng)工業(yè)中的兩階段作業(yè)車間調(diào)度過(guò)程，然后通過(guò)分析傳統(tǒng)工業(yè)中Johnson算法解決MapReduce作業(yè)調(diào)度問(wèn)題存在的不足，提出了資源槽分池執(zhí)行的MapReduce作業(yè)調(diào)度方式，實(shí)現(xiàn)了作業(yè)集全局完成時(shí)間的優(yōu)化，提高了集群的利用率。