面向全局完成時(shí)間優(yōu)化的多MapReduce作業(yè)合并方法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)空前膨脹，云計(jì)算發(fā)展迅速。在云計(jì)算中，MapReduce分布式計(jì)算框架已經(jīng)成為目前流行的處理大數(shù)據(jù)的計(jì)算模型。為了保證MapReduce的執(zhí)行性能，目前針對(duì)于MapReduce作業(yè)優(yōu)化問(wèn)題已經(jīng)開(kāi)展了大量的研究工作，不同的優(yōu)化策略，MapReduce作業(yè)具有不同的執(zhí)行性能。
　　本文分析了目前MapReduce作業(yè)優(yōu)化的研究現(xiàn)狀，針對(duì)周期性I/O密集型的多MapReduce作業(yè)調(diào)度因獨(dú)立執(zhí)行而存在的I/

2、O資源難以共享問(wèn)題，提出了一種面向全局完成時(shí)間優(yōu)化的多MapReduce作業(yè)合并方法。首先，針對(duì)多MapReduce作業(yè)之間未共享讀輸入文件而導(dǎo)致作業(yè)初始化階段I/O消耗過(guò)大問(wèn)題，提出具有相同輸入文件的MapReduce作業(yè)合并方法，通過(guò)對(duì)MapReduce作業(yè)處理過(guò)程中的I/O資源消耗建模，來(lái)衡量MapReduce作業(yè)處理過(guò)程中的I/O操作執(zhí)行時(shí)間，并在此基礎(chǔ)上給出了多MapReduce作業(yè)合并的收益評(píng)價(jià)函數(shù)和合并數(shù)學(xué)模型，進(jìn)而提出面

3、向共享讀的多MapReduce合并算法。其次，在面向共享讀的多MapReduce作業(yè)合并問(wèn)題解決的基礎(chǔ)上，針對(duì)作業(yè)合并后，由于中間數(shù)據(jù)過(guò)多冗余造成中間結(jié)果排序和網(wǎng)絡(luò)復(fù)制I/O消耗很大問(wèn)題，提出Map輸出合并模型，并提出合并后中間數(shù)據(jù)量估計(jì)算法。通過(guò)以上方法和算法，能夠有效提高I/O密集型多MapReduce作業(yè)的全局完成時(shí)間。
　　最后，本文在上述研究的基礎(chǔ)上，搭建了一個(gè)分布式的Hadoop集群實(shí)驗(yàn)環(huán)境，通過(guò)對(duì)比實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)