Hadoop平臺作業(yè)調(diào)度算法研究與改進.pdf

1、隨著搜索引擎、社交網(wǎng)絡(luò)等數(shù)據(jù)密集型互聯(lián)網(wǎng)應(yīng)用的發(fā)展，信息和數(shù)據(jù)量呈現(xiàn)爆炸式增長的趨勢，如何存儲和處理越來越龐大的數(shù)據(jù)信息，于是產(chǎn)生了云計算。云計算把原有的技術(shù)如網(wǎng)格計算和分布式計算進行整合并以新的模式呈現(xiàn)出來，它構(gòu)建在大量廉價的服務(wù)器上，利用虛擬化技術(shù)整合現(xiàn)有的計算資源、存儲資源和帶寬資源，通過統(tǒng)一的接口為用戶提供按需分配的各種資源。
　　在所有的云計算平臺中，Hadoop是最流行的開源云平臺架構(gòu)，其中的核心技術(shù)HDFS和MapR

2、educe分別實現(xiàn)了Google云平臺中的GFS和MapReduce，它們分別具有對海量數(shù)據(jù)進行存儲和處理的功能。如何通過設(shè)計不同的作業(yè)調(diào)度算法來提升MapReduce性能，已然成為學(xué)術(shù)界和工業(yè)界都非常關(guān)注的一個熱點問題，本文主要研究了延遲調(diào)度算法和LATE調(diào)度算法，并針對算法中存在的問題提出了改進。
　　延遲調(diào)度算法是為了解決“數(shù)據(jù)本地性”問題而提出的一種算法，核心思想是空閑節(jié)點在申請作業(yè)時，優(yōu)先選擇作業(yè)隊列中在該節(jié)點上具有待處

3、理數(shù)據(jù)的作業(yè)，若在規(guī)定的時間內(nèi)仍沒有找到本地作業(yè)，則選擇隊首作業(yè)執(zhí)行。這種方法大大提高了作業(yè)本地執(zhí)行的概率，同時也產(chǎn)生了一些問題，若作業(yè)待處理數(shù)據(jù)集中在某幾個節(jié)點上，則會加重這些節(jié)點的負載，容易導(dǎo)致集群負載不平衡，影響執(zhí)行效率。本文對延遲調(diào)度算法進行改進，思路如下：一是均衡負載，在作業(yè)等待本地目標節(jié)點的同時，檢測空閑節(jié)點的負載情況，如果節(jié)點負載超過閾值，則暫時不予分配任務(wù)；二是增加熱點數(shù)據(jù)塊的副本數(shù)量，以提高這些數(shù)據(jù)成功訪問的概率。通過

4、上述兩種方式達到提升Hadoop集群運行效率的目的。
　　LATE調(diào)度算法是針對異構(gòu)集群節(jié)點運行速度不同提出的一種快節(jié)點運行慢節(jié)點上面任務(wù)的方法，以縮短集群的整體運行時間。但該調(diào)度算法未充分考慮備份任務(wù)在同一機架和不同機架推測執(zhí)行時數(shù)據(jù)傳輸消耗的時間差異性以及集群不同節(jié)點的負載情況。本文綜合這兩個方面進行改進，在推測作業(yè)剩余完成時間時，考慮數(shù)據(jù)遷移的時間成本，以剩余時間和遷移時間之和為權(quán)值進行排序，再結(jié)合集群中節(jié)點的負載情況進行分