基于Hadoop的作業(yè)調(diào)度算法的研究和改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，面對(duì)空前膨脹的海量數(shù)據(jù)，云計(jì)算得到了快速發(fā)展。Hadoop平臺(tái)是Google云計(jì)算系統(tǒng)的一個(gè)開源實(shí)現(xiàn)，目前已成為最流行的開源云計(jì)算平臺(tái)。但是，它的發(fā)展時(shí)間較短，很多地方還需要改進(jìn)，其中一個(gè)突出問題是作業(yè)調(diào)度問題。改進(jìn)Hadoop平臺(tái)中的作業(yè)調(diào)度算法，對(duì)提升平臺(tái)的整體性能，進(jìn)而推動(dòng)云計(jì)算的發(fā)展有重要意義。
　　 本文首先討論了Hadoop平臺(tái)的相關(guān)技術(shù)背景和體系結(jié)構(gòu)，重點(diǎn)分析了Hadoop平臺(tái)的核心組成部

2、分:分布式文件系統(tǒng)HDFS和并行計(jì)算模型MapReduce。
　　 其次，以Hadoop平臺(tái)的主從式結(jié)構(gòu)為基礎(chǔ)，詳細(xì)分析Hadoop平臺(tái)的作業(yè)執(zhí)行的流程，研究和比較Hadoop平臺(tái)中現(xiàn)有的三種作業(yè)調(diào)度算法:FIFO調(diào)度算法、計(jì)算能力調(diào)度算法和公平調(diào)度算法，并指出算法的優(yōu)缺點(diǎn)，為算法的改進(jìn)提供依據(jù)。公平調(diào)度算法是多用戶多類型作業(yè)場(chǎng)景下應(yīng)用最廣泛的作業(yè)調(diào)度算法。但是，公平調(diào)度算法中的延遲等待機(jī)制忽略了數(shù)據(jù)本地性、用戶、作業(yè)和任務(wù)類別

3、的不同對(duì)作業(yè)調(diào)度的影響，應(yīng)該區(qū)分對(duì)待map任務(wù)和reduce任務(wù)，以及不同優(yōu)先級(jí)用戶的不同類別的作業(yè)。針對(duì)這個(gè)問題，提出基于優(yōu)先級(jí)的延遲等待公平調(diào)度算法。另外，在保證用戶和作業(yè)公平性的設(shè)計(jì)前提下，將公平調(diào)度算法和加權(quán)輪轉(zhuǎn)算法相結(jié)合，提出基于加權(quán)輪轉(zhuǎn)的公平調(diào)度算法。通過作業(yè)池間采用公平調(diào)度，作業(yè)池內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度的方式，達(dá)到保證Hadoop系統(tǒng)吞吐率的同時(shí)，降低JobTracker節(jié)點(diǎn)負(fù)載的效果。
　　 最后，通過搭建實(shí)驗(yàn)平臺(tái)，