集群MapReduce環(huán)境中任務(wù)和作業(yè)調(diào)度若干關(guān)鍵問題的研究.pdf

1、隨著信息化的逐步深入，大規(guī)模的數(shù)據(jù)處理已經(jīng)成為很多應(yīng)用領(lǐng)域的迫切需求。低成本、高性能、使用方便的數(shù)據(jù)處理技術(shù)是與之對應(yīng)的發(fā)展熱點。集群環(huán)境中的MapReduce大規(guī)模數(shù)據(jù)處理方式，以其明顯的優(yōu)勢，被廣泛研究和使用。由于采用了自動調(diào)度和并行執(zhí)行任務(wù)的方式，集群MapReduce環(huán)境中調(diào)度相關(guān)問題對其性能有重要影響作用，因此具有較高的理論價值和實踐指導(dǎo)意義。本文針對MapReduce執(zhí)行過程的理論分析、連續(xù)多個作業(yè)的資源分配、并行處理中的數(shù)

2、據(jù)傳輸開銷和負載均衡等關(guān)鍵問題進行了研究。具體研究內(nèi)容如下:
　　首先，針對一個MapReduce作業(yè)中任務(wù)的調(diào)度和執(zhí)行進行了理論分析。根據(jù)map和reduce中任務(wù)劃分的特點，將MapReduce中的任務(wù)描述為可劃分任務(wù)。然后通過分析不同節(jié)點間數(shù)據(jù)傳輸過程的規(guī)律，提出了多源節(jié)點的相互獨立通信模型。利用可劃分任務(wù)理論和提出的通信模型，建模了MapReduce的執(zhí)行過程，并利用線性規(guī)劃求解了最小化作業(yè)執(zhí)行時間的調(diào)度方案。在常見的Ma

3、pReduce集群環(huán)境中進行了任務(wù)調(diào)度方案求解和執(zhí)行性能分析，為優(yōu)化任務(wù)調(diào)度和數(shù)據(jù)存儲方案提供了指導(dǎo)。
　　其次，針對同一集群上連續(xù)多個MapReduce作業(yè)的調(diào)度優(yōu)化問題進行了研究。對于以泊松過程到達的多個MapReduce作業(yè)，分析了MapReduce作業(yè)中的計算過程，建立了節(jié)點計算能力和作業(yè)計算量之間的匹配關(guān)系。然后利用作業(yè)計算量分布函數(shù)，理論分析得出了優(yōu)化作業(yè)平均計算時間的調(diào)度方案。根據(jù)理論研究的結(jié)論，提出了中值調(diào)度算法。

4、模擬實驗表明，中值調(diào)度算法能夠有效減小MapReduce作業(yè)的平均計算時間。
　　再次，進行了優(yōu)化map階段數(shù)據(jù)傳輸問題的研究。針對網(wǎng)絡(luò)負載高的情況，分析了存儲節(jié)點在任務(wù)執(zhí)行過程中應(yīng)該輸出的數(shù)據(jù)量，提出了慈善調(diào)度算法;在網(wǎng)絡(luò)負載相對低的情況下，研究了MapReduce中的數(shù)據(jù)傳輸和任務(wù)計算過程，提出了更充分地掩蓋數(shù)據(jù)傳輸過程的數(shù)據(jù)預(yù)取機制。實驗表明，慈善調(diào)度算法較好地提升了數(shù)據(jù)本地化率，而數(shù)據(jù)預(yù)取機制有效地掩蓋了數(shù)據(jù)傳輸時間。

5、r>　　最后，研究了reduce任務(wù)調(diào)度中的負載均衡問題。針對reduce階段中存在的負載均衡問題，分析了節(jié)點間通信的特點，建立了對應(yīng)的節(jié)點通信能力模型，并結(jié)合計算能力得到節(jié)點能力。然后根據(jù)匹配節(jié)點能力和任務(wù)量的思想，提出了針對reduce任務(wù)調(diào)度的算法。模擬實驗結(jié)果表明，所提調(diào)度算法取得了良好的負載均衡，減少了執(zhí)行時間，并能較好地適應(yīng)節(jié)點能力的動態(tài)變化。
　　本文針對集群MapReduce環(huán)境中的相關(guān)調(diào)度問題，使用理論分析的方法