異構(gòu)環(huán)境下MapReduce任務推測執(zhí)行算法研究.pdf

1、隨著網(wǎng)絡信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)在各行各業(yè)滲透，而且互聯(lián)網(wǎng)的用戶數(shù)目也在不斷地增加，這使得互聯(lián)網(wǎng)數(shù)據(jù)形成了爆發(fā)式地增長，對分布式計算而言也是新的機遇。MapReduce是由Google提出針對海量數(shù)據(jù)進行處理的分布式并行計算編程模型，它具有并行自動處理作業(yè)，編程簡單及可靠性高等特點。Hadoop是基于MapReduce的分布式并行開源計算平臺，由于其定制和使用簡單的特點而被許多科研單位和企業(yè)用于海量數(shù)據(jù)的研究和處理。在Hadoop

2、中分別應用MapReduce和HDFS(Hadoop Distributed File System)來處理和存儲海量數(shù)據(jù)。推測執(zhí)行是計算和存儲高效性和健壯性的保障。它通過執(zhí)行找出異常的慢任務并將其放于另一個節(jié)點備份執(zhí)行，以達到節(jié)省集群資源和降低任務執(zhí)行時間的目的。推測執(zhí)行策略現(xiàn)在主要的有基于啟發(fā)式的LATE和基于自適應MapReduce的SAMR。
　　通過對LATE策略中存在的問題進行總結(jié)和分析，LATE推測執(zhí)行算法只是通過比

3、較某任務的進度速率和所有任務的平均進度速率的大小來決定是否進行推測執(zhí)行，卻沒有考慮資源的消耗和負載的變化，于是(Speculative Execution forBenefit of Cluster，SEBC)推測執(zhí)行算法從集群收益上進行了考慮，對資源進行建模，在考慮節(jié)點處理任務類型的基礎上進行推測執(zhí)行。實驗表明SEBC能夠更加有效地降低作業(yè)執(zhí)行時間及提高集群性能。
　　對SAMR策略執(zhí)行流程和存在的問題進行深入分析，提出了一種基

4、于隨機森林的推測執(zhí)行算法(Speculative Execution based on Random Forest，SERF)，該算法在以YARN為主的新一代Hadoop平臺基礎上進行建模，運用隨機森林機器學習算法對整體集群進行預測，并且把Map任務分成了nodeLocal，rackLocal，of Switch三種類型，簡單有效地對3類任務執(zhí)行信息進行了統(tǒng)計和分析，從而對計算節(jié)點處理任務的性能有了更加精準的定位，通過實驗表明不僅保證了