異構分布式環(huán)境下基于MapReduce模型的任務調(diào)度算法研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)技術的快速發(fā)展，大規(guī)模數(shù)據(jù)處理的應用需求日益地增加，傳統(tǒng)系統(tǒng)難以提供足夠的存儲和計算資源進行處理，云計算技術成為最理想的解決方案。MapReduce是云計算中處理大規(guī)模數(shù)據(jù)的一種重要的編程模型，它簡化了傳統(tǒng)分布式程序的開發(fā)并提供一種簡單的并行程序設計方法。Hadoop是MapReduce的開源實現(xiàn)，它是眾多互聯(lián)網(wǎng)企業(yè)和研究機構進行大規(guī)模數(shù)據(jù)處理的分布式平臺。雖然Hadoop已得到廣泛地應用，但是其在異構分布式環(huán)境下存在

2、嚴重的性能問題。因此本文以異構環(huán)境下Hadoop性能問題為研究目標，在對MapReduce任務分配和調(diào)度的相關問題進行分析和研究的基礎上，提出了適合異構環(huán)境下的任務調(diào)度算法，具體的工作及創(chuàng)新如下:
　　 (1)針對異構環(huán)境下出現(xiàn)慢速任務和慢速節(jié)點導致系統(tǒng)性能低下的問題，本文在分析原有MapReduce調(diào)度算法不足的基礎上，提出一種基于自適應策略的任務調(diào)度算法。該算法能夠正確地計算任務執(zhí)行進度和自動適應復雜變化的環(huán)境。首先通過引入

3、任務執(zhí)行歷史信息和K-means聚類算法對不同類型的Map任務和Reduce任務各子階段執(zhí)行所占的進度比例進行自動地設定，并利用正確的進度比例計算任務執(zhí)行進度。然后基于任務執(zhí)行的進度來估計任務剩余完成時間，并判定有最大剩余完成時間的任務為落后任務。其次通過比較任務進度速率和平均進度速率來判定落后節(jié)點，同時在快速節(jié)點上為落后任務啟動備份任務。最后實驗評估表明與Hadoop默認調(diào)度器和LATE算法相比，本文提出的算法提高了對落后任務和落后節(jié)

4、點判定的正確性，同時縮短了異構環(huán)境下MapReduce作業(yè)的平均運行時間。
　　 (2)針對在異構環(huán)境下采用現(xiàn)有MapReduce任務調(diào)度機制可能出現(xiàn)各計算節(jié)點間數(shù)據(jù)遷移和系統(tǒng)資源分配難以管理的問題，本文提出一種基于資源預測的動態(tài)任務調(diào)度算法。首先根據(jù)異構集群中數(shù)據(jù)分布存儲的特點，提出根據(jù)各節(jié)點的計算能力按比例放置數(shù)據(jù)的方法。在數(shù)據(jù)合理分布的情況下，通過異構環(huán)境下的資源預測方法估計MapReduce任務的完成時間，并根據(jù)任務完成