Hadoop平臺的作業(yè)調度算法研究與改進.pdf

1、隨著云計算技術的發(fā)展成熟，云計算為企業(yè)提供了一種大數據的解決方案。Hadoop是Apache組織下的一種開源分布式云計算框架的實現，由于其具有高可靠性、高擴展性以及高容錯性等優(yōu)點，被諸多企業(yè)廣泛地用于大數據的處理。MapReduce是Hadoop對數據進行分布式處理的核心組件，其作業(yè)調度算法決定了MapReduce的性能，影響到整個Hadoop系統(tǒng)的性能。目前，現有的Hadoop作業(yè)調度算法中Reduce任務調度算法過于簡單，制約了Ha

2、doop系統(tǒng)性能的提升。一方面，存在小作業(yè)Reduce任務的饑餓以及較低的資源利用率的問題，另一方面，沒有考慮到Reduce任務的數據本地性的優(yōu)化。
　　本文針對Hadoop平臺作業(yè)調度算法展開了研究，并對其Reduce任務調度算法進行了優(yōu)化。本文的主要工作如下:
　　1)深入分析了小作業(yè)Reduce任務的饑餓以及較低的資源利用率的問題，提出了一種任務時間估計模型，并基于此模型提出了一種改進算法SBOTM(Scheduler

3、 Based On Time Model)，將SBOTM算法的實現嵌入到當前比較流行的公平調度器中，通過與原生的公平調度器比較，該算法有效地改善了小作業(yè)Reduce任務的饑餓問題，提高了作業(yè)的執(zhí)行效率，并一定程度上提高了資源利用率。
　　2)深入分析了Reduce任務的數據本地性問題，并提出了一種延遲調度算法DSORT(Delay Scheduler Of Reduce Task)，將延遲調度的思想應用到Reduce任務的數據本地