云環(huán)境下作業(yè)調(diào)度算法研究.pdf

1、作為一個近年來興起的概念，云計算是數(shù)十年來虛擬化、分布式計算、效用計算技術(shù)研究以及網(wǎng)絡(luò)和軟件服務(wù)的發(fā)展的結(jié)晶。云計算加速了IT產(chǎn)業(yè)的變革，用戶按需得到服務(wù)，促進(jìn)了面向服務(wù)架構(gòu)的發(fā)展，減少了獲得服務(wù)的費(fèi)用，降低了服務(wù)提供商的花銷，同時也為服務(wù)提供了極大的靈活性。MapReduce是云計算的常用編程模式，大規(guī)模的MapReduce集群常常用于處理PB級別的數(shù)據(jù)量，因此系統(tǒng)的執(zhí)行效率就尤為重要。云作業(yè)調(diào)度是云計算中的一個重要組成部分，它能夠?qū)?/p>

2、用戶提交的作業(yè)與合適的資源進(jìn)行映射，減少作業(yè)的執(zhí)行時間，增加系統(tǒng)的吞吐率，合理的作業(yè)調(diào)度能使得集群利用率得到大幅提高。
　　 本文具體分析了云計算的背景，在歸納了學(xué)術(shù)界對云計算作業(yè)調(diào)度的代表性研究成果后，針對傳統(tǒng)Min-Min算法在負(fù)載均衡以及作業(yè)平均完成時間上的不足，提出了一種Max-D調(diào)度算法，將任務(wù)分配到合適的空閑資源執(zhí)行，并結(jié)合MapReduce的特點對算法進(jìn)行了改進(jìn)，使得Max-D算法在作業(yè)差別較大的環(huán)境下也能保持較好

3、的性能。
　　 Hadoop作為開源的云平臺實現(xiàn)，被業(yè)界廣泛研究和應(yīng)用。本文以Hadoop作為驗證平臺，研究了Hadoop中的作業(yè)調(diào)度的實現(xiàn)方法，剖析了Hadoop中兩種常用的調(diào)度算法:FIFO和公平調(diào)度。本文通過比較Max-D算法和傳統(tǒng)方法的性能，給出各算法在調(diào)度消耗、作業(yè)平均完成時間以及公平性三個方面的表現(xiàn)，總結(jié)出三種算法各自的適用場景，并提出一個新的基于負(fù)載監(jiān)控的混合調(diào)度策略，通過對集群內(nèi)負(fù)載的監(jiān)控，選擇合適的調(diào)度方法進(jìn)行