Hadoop平臺中基于預(yù)釋放資源列表的任務(wù)調(diào)度算法研究.pdf

1、互聯(lián)網(wǎng)技術(shù)催生了大數(shù)據(jù)時代的來臨。當(dāng)前，大數(shù)據(jù)已經(jīng)成為了炙手可熱的研究焦點。由于海量的數(shù)據(jù)使得單個的計算機已經(jīng)無法滿足存儲及計算的要求，各種大數(shù)據(jù)的計算模式及其對應(yīng)的分布式計算系統(tǒng)開始不斷涌現(xiàn)。MapReduce無疑是其中最為經(jīng)典并且應(yīng)用最為廣泛的大數(shù)據(jù)計算模式。任務(wù)調(diào)度與資源分配一直以來都是大規(guī)模分布式集群研究的關(guān)鍵技術(shù)，這對提高大數(shù)據(jù)集群的計算效率尤其重要。
　　Hadoop是通過各個從節(jié)點在不同的時間向主節(jié)點以“pull”的

2、方式發(fā)送心跳請求獲取任務(wù)的?，F(xiàn)有的任務(wù)調(diào)度器只根據(jù)當(dāng)前請求任務(wù)的從節(jié)點狀況，來選擇任務(wù)進行分配。而沒有將更多的資源與集群中各個作業(yè)的具體需求聯(lián)系起來，做出更優(yōu)的調(diào)度方案。因此本文在對MapReduce的任務(wù)推測執(zhí)行算法和任務(wù)調(diào)度算法進行分析和研究的基礎(chǔ)上，設(shè)計了相關(guān)的改進算法。具體工作如下:
　　(1)提出了預(yù)釋放資源列表。通過Hadoop記錄的歷史信息和集群當(dāng)前狀況的監(jiān)控信息，對節(jié)點的任務(wù)處理速率以及任務(wù)的剩余完成時間進行評估，

3、可以預(yù)測出哪些資源即將釋放，以此構(gòu)建出預(yù)釋放資源列表。從而使得Hadoop在進行任務(wù)調(diào)度的時候有著更大的優(yōu)化空間。
　　(2)設(shè)計了一種基于預(yù)釋放資源列表的任務(wù)推測執(zhí)行算法。從構(gòu)建出來的預(yù)釋放資源列表中，選擇使慢任務(wù)更快完成的資源，從而達(dá)到使慢任務(wù)更快完成的目的。實驗表明，基于預(yù)釋放資源列表的推測執(zhí)行算法能夠有效的使有慢任務(wù)的作業(yè)更快完成。
　　(3)設(shè)計了一種基于預(yù)釋放資源列表的任務(wù)調(diào)度算法。根據(jù)作業(yè)在各個節(jié)點的本地性以及