異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度方法的研究.pdf

1、云計(jì)算作為一種新興技術(shù)和商業(yè)使用模式，旨在為用戶提供安全、快速、便捷的數(shù)據(jù)存儲(chǔ)與網(wǎng)絡(luò)計(jì)算服務(wù)。同時(shí)，動(dòng)態(tài)擴(kuò)展和按需付費(fèi)等特性使得它很好地滿足了控制服務(wù)成本和降低能耗的需求，因而具有廣闊的市場(chǎng)前景。MapReduce作為云計(jì)算中應(yīng)用最為廣泛的一個(gè)分布式計(jì)算框架，不同的組織和個(gè)人都致力于MapReduce框架的調(diào)度算法改進(jìn)，希望能夠提高M(jìn)apReduce框架的執(zhí)行效率和公平性。
　　目前的MapReduce作業(yè)公平調(diào)度算法是基于同構(gòu)的

2、環(huán)境，大都沒有考慮云環(huán)境資源的異構(gòu)性，從而難以保證異構(gòu)云環(huán)境中作業(yè)資源分配的公平性。同時(shí)異構(gòu)云環(huán)境中，作業(yè)資源需求的不同，也將使得同一計(jì)算節(jié)點(diǎn)上的作業(yè)由于對(duì)同一物理資源的搶占而難以保證作業(yè)的執(zhí)行性能。而目前的研究工作針對(duì)作業(yè)可放置性問題大多僅考慮數(shù)據(jù)本地性問題，并未考慮該節(jié)點(diǎn)上其他作業(yè)對(duì)于新作業(yè)的性能影響程度，進(jìn)而難以保證被調(diào)度作業(yè)的執(zhí)行效率。
　　為此，本文在研究MapReduce作業(yè)公平調(diào)度算法和作業(yè)可放置性等相關(guān)工作的基礎(chǔ)上

3、，針對(duì)如何實(shí)現(xiàn)異構(gòu)云環(huán)境中MapReduce作業(yè)調(diào)度的公平性問題，提出了一個(gè)異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度方法。該方法建立了一個(gè)MapReduce作業(yè)公平性評(píng)價(jià)模型，該模型通過作業(yè)相對(duì)執(zhí)行效率評(píng)價(jià)MapReduce作業(yè)資源調(diào)度的公平性，能夠反映異構(gòu)云環(huán)境中資源調(diào)度的相對(duì)公平。在此基礎(chǔ)上，針對(duì)異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度問題，提出了一個(gè)公平調(diào)度算法。該算法根據(jù)作業(yè)資源調(diào)度的公平度和完成度計(jì)算公平調(diào)度器的缺額，進(jìn)而

4、通過缺額值排序進(jìn)行作業(yè)調(diào)度，以保證異構(gòu)云環(huán)境中MapReduce作業(yè)調(diào)度的公平性。針對(duì)于異構(gòu)云環(huán)境中MapReduce作業(yè)的可放置性評(píng)價(jià)問題，建立了一個(gè)衡量作業(yè)間性能互擾度的模型，并給出了基于多元線性回歸的模型參數(shù)求解方法以及性能互擾度預(yù)測(cè)算法，在此基礎(chǔ)上提出了一個(gè)基于可放置性評(píng)價(jià)的MapReduce作業(yè)延遲調(diào)度算法，能夠避免由于作業(yè)間資源搶占而導(dǎo)致的性能下降。最后，實(shí)驗(yàn)驗(yàn)證了異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度算法的有效性和公平