Hadoop平臺下的作業(yè)調(diào)度算法研究及應用.pdf

1、隨著信息進程的深入和數(shù)字設備市場的繁榮，全球產(chǎn)生的數(shù)據(jù)量快速增長，云計算已經(jīng)成為新興技術(shù)領域和服務領域重要的計算模式。Apache Hadoop作為云計算的開源平臺提供了強大的數(shù)據(jù)處理工具，得到了企業(yè)廣泛的應用和支持。Hadoop平臺下的作業(yè)調(diào)度算法負責支配計算集群的資源和決定作業(yè)的執(zhí)行次序，采用合適的調(diào)度算法可以有效地減少作業(yè)響應時間，提高整個集群的計算效率。因此研究和優(yōu)化作業(yè)調(diào)度算法對提高Hadoop平臺的整體性能意義重大。

2、　　本文在研究和分析Hadoop平臺現(xiàn)有作業(yè)調(diào)度算法的基礎上，針對LATE調(diào)度算法在執(zhí)行任務備份時沒有考慮重新調(diào)度備份任務的代價問題以及對任務剩余時間推測的靜態(tài)局限性，提出了基于重調(diào)度代價的LATE算法。新算法的改進主要包括兩方面:(1)依據(jù)任務的重調(diào)度代價決定是否執(zhí)行任務備份機制，通過推測任務的重調(diào)度代價判斷為落后任務執(zhí)行備份機制是否有意義，確保執(zhí)行任務備份可以提高作業(yè)的運行進度;(2)基于節(jié)點執(zhí)行任務的歷史信息改變計算任務剩余時間的