調(diào)度算法在云計(jì)算資源分配中的應(yīng)用研究.pdf

1、云計(jì)算是一種商業(yè)化計(jì)算模型,能夠?qū)⒊笠?guī)模計(jì)算和海量存儲(chǔ)能力通過網(wǎng)絡(luò)提供給用戶,就像水、電和煤氣一樣,取用方便,費(fèi)用低廉。如何將云計(jì)算的資源合理有效地分配給用戶,減少作業(yè)執(zhí)行時(shí)間和提高資源利用率,是調(diào)度算法需要研究和解決的問題。因此,對(duì)云計(jì)算調(diào)度算法進(jìn)行研究具有非常重要的現(xiàn)實(shí)意義。本文對(duì)云計(jì)算調(diào)度算法的研究背景和研究現(xiàn)狀進(jìn)行分析,指出當(dāng)前云計(jì)算調(diào)度算法存在的不足,并提出了相應(yīng)的解決方法。
　　首先,對(duì)云計(jì)算調(diào)度算法的關(guān)鍵技術(shù)進(jìn)行分

2、析研究。本文對(duì)Hadoop系統(tǒng)及其關(guān)鍵技術(shù)進(jìn)行分析,加深對(duì)HDFS和MapReduce工作原理和執(zhí)行過程的理解。深入分析了調(diào)度算法和它實(shí)現(xiàn)的目標(biāo),比較了經(jīng)典調(diào)度算法的性能,并改進(jìn)了一種啟發(fā)式表調(diào)度算法(Heuristic list scheduling,簡(jiǎn)稱HLS)來提高Hadoop集群資源利用率和作業(yè)響應(yīng)時(shí)間。
　　其次,通過對(duì)Hadoop系統(tǒng)的特點(diǎn)和不足進(jìn)行分析,設(shè)計(jì)了一種基于任務(wù)預(yù)分配的表調(diào)度算法(List Scheduli

3、ng based Task Preassigned,簡(jiǎn)稱LSTP)來解決云計(jì)算資源分配問題。本文使用概率論知識(shí)對(duì)Hadoop日志信息進(jìn)行分析,評(píng)估并獲得每個(gè)節(jié)點(diǎn)執(zhí)行速度和節(jié)點(diǎn)間通信速率。根據(jù) DAG調(diào)度和 MapReduce任務(wù)分配模型,設(shè)計(jì)出LSTP算法調(diào)度模型并確定Map和Reduce任務(wù)的優(yōu)先級(jí)。然后,改進(jìn)一種最早開始時(shí)間搜索算法為每個(gè)任務(wù)找到最佳的工作節(jié)點(diǎn)并將該任務(wù)映射到該工作節(jié)點(diǎn)。為每個(gè)工作節(jié)點(diǎn)設(shè)計(jì)一個(gè)預(yù)分配任務(wù)槽來擴(kuò)大系統(tǒng)的