大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法研究.pdf

1、Hadoop分布式系統(tǒng)框架有效解決了大數(shù)據(jù)環(huán)境下數(shù)據(jù)的存儲(chǔ)和處理問題，其性能與作業(yè)調(diào)度密切相關(guān)。采用高效的調(diào)度方案，可更加充分合理地的分配及利用云計(jì)算資源，針對(duì)Hadoop作業(yè)調(diào)度算法的研究對(duì)于提高Hadoop系統(tǒng)的整體性能具有重大的現(xiàn)實(shí)意義。
　　本文對(duì)Hadoop現(xiàn)有的作業(yè)調(diào)度算法及異構(gòu)環(huán)境下提出的LATE調(diào)度算法進(jìn)行了研究與分析，重點(diǎn)針對(duì)LATE調(diào)度算法在推測(cè)式執(zhí)行機(jī)制上存在的不足進(jìn)行了優(yōu)化。
　　對(duì)于大型Hadoop

2、集群，數(shù)據(jù)跨機(jī)架存儲(chǔ)概率較高，而LATE調(diào)度算法假定大部分的Map任務(wù)都是在本地讀取數(shù)據(jù)執(zhí)行，并且沒有考慮reduce任務(wù)是否本地讀取數(shù)據(jù)執(zhí)行，導(dǎo)致系統(tǒng)大部分的時(shí)間都消耗在機(jī)架間的數(shù)據(jù)傳輸上。針對(duì) LATE調(diào)度算法在推測(cè)式執(zhí)行機(jī)制中沒有考慮數(shù)據(jù)局部性的問題，本文在第四章提出了一種基于LATE調(diào)度算法的數(shù)據(jù)局部性改進(jìn)算法。該算法在LATE調(diào)度算法的基礎(chǔ)上，改進(jìn)了推測(cè)式執(zhí)行中慢任務(wù)的判定方法，并且在為節(jié)點(diǎn)空閑槽分配備份任務(wù)時(shí)，首先考慮本機(jī)機(jī)

3、架上是否需要備份執(zhí)行任務(wù)，如果沒有，才會(huì)到其它機(jī)架上尋找合適的備份任務(wù)執(zhí)行，從而提高了系統(tǒng)的執(zhí)行效率。
　　在實(shí)際的大型Hadoop集群環(huán)境中，運(yùn)行的作業(yè)會(huì)涵蓋CPU密集型和I/O密集型兩種作業(yè)，其所需的系統(tǒng)資源是不同的。目前，Hadoop調(diào)度算法并沒有針對(duì)這兩種作業(yè)的并行化進(jìn)行改進(jìn)，使得系統(tǒng)的資源競(jìng)爭(zhēng)仍然嚴(yán)重。針對(duì)這個(gè)問題，本文第五章提出了一種基于 LATE調(diào)度算法的資源互補(bǔ)分配改進(jìn)算法。該算法在LATE調(diào)度算法的基礎(chǔ)上，通過對(duì)

4、Hadoop集群的作業(yè)負(fù)載和節(jié)點(diǎn)負(fù)載進(jìn)行合理的分類，充分考慮CPU和I/O密集型作業(yè)所需系統(tǒng)資源是互補(bǔ)的這一情況下，對(duì)備份任務(wù)進(jìn)行合理的調(diào)度執(zhí)行，極大改善了因?yàn)橘Y源競(jìng)爭(zhēng)和不合理調(diào)度導(dǎo)致系統(tǒng)性能低下的問題。
　　為了盡可能的驗(yàn)證本文算法的優(yōu)勢(shì)，本文針對(duì)第四章和第五章分別搭建了相應(yīng)的Hadoop集群環(huán)境，進(jìn)行了仿真驗(yàn)證。其中，第四章模擬了兩個(gè)機(jī)架，第五章為了控制變量，采用簡(jiǎn)單集群。實(shí)驗(yàn)結(jié)果表明，本文算法在一定程度上提高了Hadoop集