云計(jì)算任務(wù)調(diào)度研究.pdf

1、博士學(xué)隹論X云計(jì)算任務(wù)調(diào)度研究作者：史恒亮指導(dǎo)教師：白光一教授唐振民教授南京理工大學(xué)2012年10月博士論文云計(jì)算任務(wù)調(diào)度研究摘要云計(jì)算開辟了Internet發(fā)展的新時(shí)代，將帶動(dòng)軟件、硬件、通信和物聯(lián)網(wǎng)等產(chǎn)業(yè)的繁榮，是人類社會(huì)實(shí)現(xiàn)“智慧地球”的一個(gè)里程碑。云計(jì)算是并行計(jì)算、分布式計(jì)算、網(wǎng)格計(jì)算的融合和發(fā)展，是集軟件技術(shù)、硬件技術(shù)、虛擬技術(shù)、網(wǎng)絡(luò)技術(shù)于一體的一場(chǎng)革命。云計(jì)算要實(shí)現(xiàn)的目標(biāo)是讓Inter上的資源（計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源等

2、）象水和電一樣在網(wǎng)絡(luò)上按需分配，并能夠根據(jù)請(qǐng)求任務(wù)復(fù)雜性和數(shù)據(jù)集合大小合理的動(dòng)態(tài)調(diào)整。目前，云計(jì)算任務(wù)調(diào)度的相關(guān)研究主要集中在Hadoop模型和MapReduce編程模型，Hadoop的提出對(duì)于解決數(shù)據(jù)密集型的簡(jiǎn)單查詢具有很強(qiáng)的優(yōu)勢(shì)，其本質(zhì)是在不同的數(shù)據(jù)集合上進(jìn)行相同的操作，更大程度上傾向于數(shù)據(jù)的分布性（并行性），對(duì)于由眾多子任務(wù)構(gòu)成的復(fù)雜任務(wù)請(qǐng)求，其并行性受到很大的限制。同時(shí)其內(nèi)置的FIFO(FirstInFirstOut)算法、FS

3、(Fair—Scheduling)算法、CS(Capacity—Scheduling)算法存在QoS(QualityofService)差、頻繁調(diào)度、資源碎片多、不夠靈活等弊端，因此本文從調(diào)度模型和調(diào)度算法兩個(gè)方面進(jìn)行了研究，主要?jiǎng)?chuàng)新點(diǎn)有：(1)針對(duì)復(fù)雜任務(wù)，提出了改進(jìn)的MapReduce模型，該模型保留了原Hadoop模型數(shù)據(jù)并行性優(yōu)點(diǎn)的同時(shí)，能夠在架構(gòu)上實(shí)現(xiàn)真正的任務(wù)分解和并行計(jì)算，大大擴(kuò)展了MapReduce模型的并行性。改進(jìn)的M

4、apReduce模型在Map過程開始之前增加了任務(wù)分解過程，將復(fù)雜任務(wù)的DAG(DirectedAcyclicGraph)圖轉(zhuǎn)化為MCST(MinimumCostSpanningTree)最小生成樹，為任務(wù)執(zhí)行提供了可以信賴的最小執(zhí)行時(shí)間依據(jù)。該模型大大擴(kuò)展了Hadoop架構(gòu)的應(yīng)用領(lǐng)域，將主要應(yīng)用于商業(yè)和重交互式領(lǐng)域的Hadoop架構(gòu)拓展到了科學(xué)計(jì)算領(lǐng)域，為那些只熟悉MPI(MessagePassingInterface)的科研工作者提

5、供了可以利用廉價(jià)商用PC從事科研的系統(tǒng)架構(gòu)。(2)針對(duì)用戶多類型、多粒度的任務(wù)請(qǐng)求，提出了基于ACO的云計(jì)算任務(wù)調(diào)度算法，該算法把ACO算法的動(dòng)態(tài)性、并行性融合到了Hadoop架構(gòu)中，充分發(fā)揮了并行性和分布性，避免了Hadoop中經(jīng)典算法在處理大粒度任務(wù)時(shí)造成眾多小粒度任務(wù)等待時(shí)間過長(zhǎng)的問題，增強(qiáng)了交互性。通過智能的全局信息素更新和局部信息素更新方法，以及設(shè)定信息素的最大值和最小值手段，降低了算法陷入局部最優(yōu)的可能性。ACO算法的啟發(fā)式