基于Hadoop的作業(yè)調(diào)度算法的研究和改進.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，面對空前膨脹的海量數(shù)據(jù)，云計算得到了快速發(fā)展。Hadoop平臺是Google云計算系統(tǒng)的一個開源實現(xiàn)，目前已成為最流行的開源云計算平臺。但是，它的發(fā)展時間較短，很多地方還需要改進，其中一個突出問題是作業(yè)調(diào)度問題。改進Hadoop平臺中的作業(yè)調(diào)度算法，對提升平臺的整體性能，進而推動云計算的發(fā)展有重要意義。
　　 本文首先討論了Hadoop平臺的相關(guān)技術(shù)背景和體系結(jié)構(gòu)，重點分析了Hadoop平臺的核心組成部

2、分:分布式文件系統(tǒng)HDFS和并行計算模型MapReduce。
　　 其次，以Hadoop平臺的主從式結(jié)構(gòu)為基礎(chǔ)，詳細分析Hadoop平臺的作業(yè)執(zhí)行的流程，研究和比較Hadoop平臺中現(xiàn)有的三種作業(yè)調(diào)度算法:FIFO調(diào)度算法、計算能力調(diào)度算法和公平調(diào)度算法，并指出算法的優(yōu)缺點，為算法的改進提供依據(jù)。公平調(diào)度算法是多用戶多類型作業(yè)場景下應(yīng)用最廣泛的作業(yè)調(diào)度算法。但是，公平調(diào)度算法中的延遲等待機制忽略了數(shù)據(jù)本地性、用戶、作業(yè)和任務(wù)類別

3、的不同對作業(yè)調(diào)度的影響，應(yīng)該區(qū)分對待map任務(wù)和reduce任務(wù)，以及不同優(yōu)先級用戶的不同類別的作業(yè)。針對這個問題，提出基于優(yōu)先級的延遲等待公平調(diào)度算法。另外，在保證用戶和作業(yè)公平性的設(shè)計前提下，將公平調(diào)度算法和加權(quán)輪轉(zhuǎn)算法相結(jié)合，提出基于加權(quán)輪轉(zhuǎn)的公平調(diào)度算法。通過作業(yè)池間采用公平調(diào)度，作業(yè)池內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度的方式，達到保證Hadoop系統(tǒng)吞吐率的同時，降低JobTracker節(jié)點負載的效果。
　　 最后，通過搭建實驗平臺，