異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度方法的研究.pdf

1、云計算作為一種新興技術和商業(yè)使用模式，旨在為用戶提供安全、快速、便捷的數(shù)據(jù)存儲與網(wǎng)絡計算服務。同時，動態(tài)擴展和按需付費等特性使得它很好地滿足了控制服務成本和降低能耗的需求，因而具有廣闊的市場前景。MapReduce作為云計算中應用最為廣泛的一個分布式計算框架，不同的組織和個人都致力于MapReduce框架的調(diào)度算法改進，希望能夠提高MapReduce框架的執(zhí)行效率和公平性。
　　目前的MapReduce作業(yè)公平調(diào)度算法是基于同構(gòu)的

2、環(huán)境，大都沒有考慮云環(huán)境資源的異構(gòu)性，從而難以保證異構(gòu)云環(huán)境中作業(yè)資源分配的公平性。同時異構(gòu)云環(huán)境中，作業(yè)資源需求的不同，也將使得同一計算節(jié)點上的作業(yè)由于對同一物理資源的搶占而難以保證作業(yè)的執(zhí)行性能。而目前的研究工作針對作業(yè)可放置性問題大多僅考慮數(shù)據(jù)本地性問題，并未考慮該節(jié)點上其他作業(yè)對于新作業(yè)的性能影響程度，進而難以保證被調(diào)度作業(yè)的執(zhí)行效率。
　　為此，本文在研究MapReduce作業(yè)公平調(diào)度算法和作業(yè)可放置性等相關工作的基礎上

3、，針對如何實現(xiàn)異構(gòu)云環(huán)境中MapReduce作業(yè)調(diào)度的公平性問題，提出了一個異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度方法。該方法建立了一個MapReduce作業(yè)公平性評價模型，該模型通過作業(yè)相對執(zhí)行效率評價MapReduce作業(yè)資源調(diào)度的公平性，能夠反映異構(gòu)云環(huán)境中資源調(diào)度的相對公平。在此基礎上，針對異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度問題，提出了一個公平調(diào)度算法。該算法根據(jù)作業(yè)資源調(diào)度的公平度和完成度計算公平調(diào)度器的缺額，進而

4、通過缺額值排序進行作業(yè)調(diào)度，以保證異構(gòu)云環(huán)境中MapReduce作業(yè)調(diào)度的公平性。針對于異構(gòu)云環(huán)境中MapReduce作業(yè)的可放置性評價問題，建立了一個衡量作業(yè)間性能互擾度的模型，并給出了基于多元線性回歸的模型參數(shù)求解方法以及性能互擾度預測算法，在此基礎上提出了一個基于可放置性評價的MapReduce作業(yè)延遲調(diào)度算法，能夠避免由于作業(yè)間資源搶占而導致的性能下降。最后，實驗驗證了異構(gòu)云環(huán)境中MapReduce作業(yè)公平調(diào)度算法的有效性和公平