MapReduce作業(yè)調(diào)度算法分析與優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，每天由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來(lái)越龐大。互聯(lián)網(wǎng)企業(yè)面對(duì)這些浩繁的數(shù)據(jù)，常常陷入數(shù)據(jù)豐富而信息貧乏的尷尬境地。MapReduce是Google提出的一種用于大規(guī)模數(shù)據(jù)并行運(yùn)算的模型。由于簡(jiǎn)單、易于實(shí)現(xiàn)、可擴(kuò)展性強(qiáng)以及良好的容錯(cuò)性等優(yōu)點(diǎn)，MapReduce被廣泛應(yīng)用于日志分析和海量數(shù)據(jù)排序等大規(guī)模數(shù)據(jù)分析領(lǐng)域。然而，通過(guò)對(duì)MapReduce的深入分析以及與并行數(shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行比較后，發(fā)現(xiàn) MapReduce在性能方面不

2、及傳統(tǒng)的并行數(shù)據(jù)庫(kù)管理系統(tǒng)。因此如何提高 MapReduce的性能已經(jīng)成為大規(guī)模數(shù)據(jù)并行運(yùn)算領(lǐng)域中的一個(gè)研究熱點(diǎn)和難點(diǎn)問(wèn)題。本文對(duì)通過(guò)優(yōu)化作業(yè)調(diào)度算法的途徑來(lái)提高M(jìn)apReduce性能的技術(shù)展開(kāi)了研究。
　　首先，介紹了MapReduce計(jì)算模型及其工作機(jī)制，重點(diǎn)分析了MapReduce作業(yè)執(zhí)行流程和特點(diǎn)。
　　其次，分析了MapReduce作業(yè)執(zhí)行時(shí)間的影響因素。著重分析了MapReduce配置參數(shù)及其存儲(chǔ)結(jié)構(gòu)對(duì)作業(yè)執(zhí)行時(shí)

3、間的影響程度，并設(shè)計(jì)了一種評(píng)估存儲(chǔ)結(jié)構(gòu)對(duì)性能影響的方法。實(shí)驗(yàn)結(jié)果表明了該評(píng)估方法的有效性。
　　然后，提出了一種基于神經(jīng)網(wǎng)絡(luò)的作業(yè)執(zhí)行時(shí)間預(yù)測(cè)方法。該方法利用MapReduce已完成作業(yè)的相關(guān)數(shù)據(jù)信息，通過(guò)神經(jīng)網(wǎng)絡(luò)建立MapReduce參數(shù)和作業(yè)執(zhí)行時(shí)間之間的關(guān)系模型，進(jìn)而達(dá)到利用模型預(yù)測(cè)作業(yè)執(zhí)行時(shí)間的目的。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在預(yù)測(cè)作業(yè)執(zhí)行時(shí)間的有效性和準(zhǔn)確性。
　　最后，提出了一種基于高響應(yīng)比優(yōu)先的MapReduce作業(yè)

4、調(diào)度算法。針對(duì)MapReduce基本調(diào)度算法存在不足之處，結(jié)合本文提出的MapReduce作業(yè)執(zhí)行時(shí)間預(yù)測(cè)方法，提出了一種基于高響應(yīng)比優(yōu)先的作業(yè)調(diào)度算法。該算法綜合考慮了作業(yè)的要求服務(wù)時(shí)間和等待時(shí)間，既考慮了短作業(yè)，又兼顧了作業(yè)到達(dá)的先后次序，不會(huì)使長(zhǎng)作業(yè)長(zhǎng)期得不到執(zhí)行。實(shí)驗(yàn)驗(yàn)證了該調(diào)度算法對(duì)MapReduce作業(yè)調(diào)度的有效性。
　　綜上所述，本文分析了MapReduce計(jì)算模型、工作機(jī)制及作業(yè)執(zhí)行時(shí)間的影響因素，提出了一種預(yù)測(cè)