基于MapReduce集群的調(diào)度算法的研究與實(shí)現(xiàn).pdf

1、現(xiàn)代互聯(lián)網(wǎng)應(yīng)用引發(fā)了對(duì)海量數(shù)據(jù)進(jìn)行并行化處理的需求，越來越多的計(jì)算任務(wù)需要在擁有成千上萬個(gè)相互獨(dú)立的計(jì)算節(jié)點(diǎn)的裝置上完成。于是Hadoop MapReduce作為新一代的編程系統(tǒng)應(yīng)運(yùn)而生，它是一個(gè)用以處理大規(guī)模分布式數(shù)據(jù)集的編程模型，其最大優(yōu)勢(shì)是實(shí)現(xiàn)了大規(guī)模并行計(jì)算。MapReduce集群（也稱Hadoop平臺(tái)）是一個(gè)多用戶、多作業(yè)和多任務(wù)共享相同物理資源的環(huán)境，群集的性能、資源利用率以及用戶體驗(yàn)等方面在很大程度上由調(diào)度算法所決定。因此

2、，研究基于Hadoop平臺(tái)的調(diào)度算法具有重要的理論價(jià)值和實(shí)踐意義。
　　本文首先對(duì)云計(jì)算環(huán)境下的作業(yè)調(diào)度問題和現(xiàn)有的作業(yè)調(diào)度算法進(jìn)行了研究，然后重點(diǎn)研究與分析了Hadoop平臺(tái)下的作業(yè)運(yùn)行機(jī)制、作業(yè)調(diào)度機(jī)制及其現(xiàn)有的幾種作業(yè)調(diào)度算法，包括算法的思想、具體步驟及優(yōu)缺點(diǎn)等內(nèi)容。在此基礎(chǔ)之上，本文還分別從服務(wù)質(zhì)量、數(shù)據(jù)本地性和資源利用率等幾個(gè)方面進(jìn)一步分析了Hadoop平臺(tái)下現(xiàn)有調(diào)度算法所存在的問題，進(jìn)而提出了一種基于博弈思想的二級(jí)調(diào)度

3、模型，第一級(jí)為作業(yè)調(diào)度，第二級(jí)為任務(wù)調(diào)度。針對(duì)作業(yè)級(jí)調(diào)度，本文將其抽象成了一個(gè)動(dòng)態(tài)非合作博弈，提出了一種基于QoS競價(jià)模型的Hadoop作業(yè)選擇方法，從而實(shí)現(xiàn)了作業(yè)優(yōu)先級(jí)的優(yōu)化評(píng)估和作業(yè)的量化選擇。針對(duì)任務(wù)級(jí)調(diào)度，本文將其抽象成了一個(gè)合作博弈，提出了一種基于匈牙利算法的Hadoop任務(wù)調(diào)度算法，從而實(shí)現(xiàn)了作業(yè)完成代價(jià)的最小化，減少了作業(yè)響應(yīng)時(shí)間。此外，本文還提出了一種基于最小代價(jià)流的Hadoop任務(wù)調(diào)度算法，該算法不僅減少了作業(yè)響應(yīng)時(shí)間