基于Hadoop的作業(yè)調(diào)度負(fù)載均衡算法研究.pdf

1、隨著Web2.0時(shí)代的到來，互聯(lián)網(wǎng)的迅速發(fā)展，人們對(duì)網(wǎng)絡(luò)的依賴越來越多。尤其是“互聯(lián)網(wǎng)+”的提出，各大企業(yè)均響應(yīng)號(hào)召，實(shí)施轉(zhuǎn)型，各行各業(yè)每天都能產(chǎn)生海量數(shù)據(jù)，且呈爆炸式增長(zhǎng)。由于海量信息的存儲(chǔ)需求和新的計(jì)算能力的需求，促使了新的計(jì)算模式一云計(jì)算的誕生。而Hadoop是云平臺(tái)中一個(gè)能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式處理的開源平臺(tái)，是MapReduce編程模型的開源實(shí)現(xiàn)，也是眾多學(xué)者進(jìn)行大數(shù)據(jù)研究的首選平臺(tái)。Hadoop的一個(gè)重要組件就是其調(diào)度器，它主

2、要實(shí)現(xiàn)作業(yè)的調(diào)度執(zhí)行和系統(tǒng)資源的合理分配，其調(diào)度算法的優(yōu)劣對(duì)集群的性能有著至關(guān)重要的作用。因此對(duì)Hadoop調(diào)度器及算法的研究有著重要意義。
　　本文通過研究Hadoop平臺(tái)的現(xiàn)有算法，分析LATE算法的調(diào)度原理及優(yōu)劣，針對(duì)其在異構(gòu)環(huán)境下選擇備份任務(wù)及執(zhí)行節(jié)點(diǎn)時(shí)的不足，提出一個(gè)改進(jìn)的IR-LATE調(diào)度算法。該算法首先對(duì)集群中的作業(yè)負(fù)載進(jìn)行分類，選擇備份執(zhí)行時(shí)，通過IR-LATE調(diào)度算法為剩余完成時(shí)間最長(zhǎng)、最需要備份的慢任務(wù)啟動(dòng)備份