MapReduce作業(yè)調(diào)度算法分析與優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，每天由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來越龐大?；ヂ?lián)網(wǎng)企業(yè)面對這些浩繁的數(shù)據(jù)，常常陷入數(shù)據(jù)豐富而信息貧乏的尷尬境地。MapReduce是Google提出的一種用于大規(guī)模數(shù)據(jù)并行運(yùn)算的模型。由于簡單、易于實(shí)現(xiàn)、可擴(kuò)展性強(qiáng)以及良好的容錯性等優(yōu)點(diǎn)，MapReduce被廣泛應(yīng)用于日志分析和海量數(shù)據(jù)排序等大規(guī)模數(shù)據(jù)分析領(lǐng)域。然而，通過對MapReduce的深入分析以及與并行數(shù)據(jù)庫管理系統(tǒng)進(jìn)行比較后，發(fā)現(xiàn) MapReduce在性能方面不

2、及傳統(tǒng)的并行數(shù)據(jù)庫管理系統(tǒng)。因此如何提高 MapReduce的性能已經(jīng)成為大規(guī)模數(shù)據(jù)并行運(yùn)算領(lǐng)域中的一個研究熱點(diǎn)和難點(diǎn)問題。本文對通過優(yōu)化作業(yè)調(diào)度算法的途徑來提高M(jìn)apReduce性能的技術(shù)展開了研究。
　　首先，介紹了MapReduce計算模型及其工作機(jī)制，重點(diǎn)分析了MapReduce作業(yè)執(zhí)行流程和特點(diǎn)。
　　其次，分析了MapReduce作業(yè)執(zhí)行時間的影響因素。著重分析了MapReduce配置參數(shù)及其存儲結(jié)構(gòu)對作業(yè)執(zhí)行時

3、間的影響程度，并設(shè)計了一種評估存儲結(jié)構(gòu)對性能影響的方法。實(shí)驗(yàn)結(jié)果表明了該評估方法的有效性。
　　然后，提出了一種基于神經(jīng)網(wǎng)絡(luò)的作業(yè)執(zhí)行時間預(yù)測方法。該方法利用MapReduce已完成作業(yè)的相關(guān)數(shù)據(jù)信息，通過神經(jīng)網(wǎng)絡(luò)建立MapReduce參數(shù)和作業(yè)執(zhí)行時間之間的關(guān)系模型，進(jìn)而達(dá)到利用模型預(yù)測作業(yè)執(zhí)行時間的目的。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在預(yù)測作業(yè)執(zhí)行時間的有效性和準(zhǔn)確性。
　　最后，提出了一種基于高響應(yīng)比優(yōu)先的MapReduce作業(yè)

4、調(diào)度算法。針對MapReduce基本調(diào)度算法存在不足之處，結(jié)合本文提出的MapReduce作業(yè)執(zhí)行時間預(yù)測方法，提出了一種基于高響應(yīng)比優(yōu)先的作業(yè)調(diào)度算法。該算法綜合考慮了作業(yè)的要求服務(wù)時間和等待時間，既考慮了短作業(yè)，又兼顧了作業(yè)到達(dá)的先后次序，不會使長作業(yè)長期得不到執(zhí)行。實(shí)驗(yàn)驗(yàn)證了該調(diào)度算法對MapReduce作業(yè)調(diào)度的有效性。
　　綜上所述，本文分析了MapReduce計算模型、工作機(jī)制及作業(yè)執(zhí)行時間的影響因素，提出了一種預(yù)測