面向迭代型作業(yè)的MapReduce任務(wù)調(diào)度策略研究.pdf

1、MapReduce是一個被廣泛采用的大數(shù)據(jù)分析計算框架，其基于分治的思想在一次性批處理的應(yīng)用中具有相當(dāng)大的靈活性和可擴(kuò)展性。但是，MapReduce并不直接支持被廣泛使用的迭代類型作業(yè)。對此，學(xué)術(shù)界從數(shù)據(jù)緩存和異步執(zhí)行迭代等角度對MapReduce框架作出了一系列的改進(jìn)。為了配合這些優(yōu)化措施，研究人員也設(shè)計了對應(yīng)的任務(wù)調(diào)度策略。但同時其動態(tài)性不足也引入了任務(wù)負(fù)載不均衡的問題。
　　負(fù)載不均衡的根本原因在于無法事先得知任務(wù)和節(jié)點的特

2、點以及任務(wù)量的分布，而迭代作業(yè)局部性的特點可以在之前迭代執(zhí)行過程中獲得這些信息。結(jié)合已有研究成果，對迭代作業(yè)特點深入分析，在迭代之間建立了數(shù)據(jù)反饋機(jī)制。每次迭代處理過程相同，之前迭代節(jié)點的執(zhí)行速度可以衡量節(jié)點能力；迭代之間數(shù)據(jù)量分布具有相似性，可以在之前迭代中統(tǒng)計中間數(shù)據(jù)各個 Key對應(yīng)的任務(wù)量大小。通過收集之前迭代執(zhí)行過程中的這些反饋信息，設(shè)計了一個基于反饋的任務(wù)調(diào)度器（FBS），不斷調(diào)整之后的迭代任務(wù)劃分，使得負(fù)載更均衡。
　

3、　Hadoop也存在著推測執(zhí)行機(jī)制效果不理想的問題。經(jīng)實驗分析，其原因主要在于Hadoop不考慮任務(wù)和節(jié)點的特點，固定任務(wù)各階段占總進(jìn)度值比例，導(dǎo)致進(jìn)度值估計不精確，從而誤導(dǎo)后備任務(wù)的選擇。對于迭代類型作業(yè)，每次迭代處理過程相同，任務(wù)各階段占總進(jìn)度值比例也類似。通過在之前迭代執(zhí)行過程的反饋，收集數(shù)據(jù)并動態(tài)調(diào)整任務(wù)各階段占總進(jìn)度值的比例，改進(jìn)了進(jìn)度值統(tǒng)計的方式。
　　實現(xiàn)了系統(tǒng)原型進(jìn)行了實驗評估。實驗結(jié)果證明，相比已有研究，F(xiàn)BS能