基于MapReduce的LATE調(diào)度器算法的改進(jìn)研究.pdf

1、隨著信息時(shí)代的快速發(fā)展，數(shù)據(jù)具有了海量、異構(gòu)、多樣、動(dòng)態(tài)變化等特性。人們迫切需要強(qiáng)有力的數(shù)據(jù)分析工具從繁雜的海量數(shù)據(jù)中找到有用知識(shí)，發(fā)現(xiàn)其中存在的關(guān)系和規(guī)則，幫助人們進(jìn)行決策、研究、判定，從而帶來(lái)巨大的信息價(jià)值。
　　Map-Reduce編程模型由Google提出，是當(dāng)前應(yīng)用較為廣泛的分布式計(jì)算框架。它將業(yè)務(wù)邏輯從復(fù)雜的底層實(shí)現(xiàn)細(xì)節(jié)中分離出來(lái)，該模型主要是面向海量數(shù)據(jù)的處理，與傳統(tǒng)的并行計(jì)算模型相比，它對(duì)任務(wù)調(diào)度、數(shù)據(jù)分塊、容錯(cuò)性

2、等問(wèn)題進(jìn)行了封裝，極大地簡(jiǎn)化了程序的設(shè)計(jì)。
　　Map-Reduce Job的調(diào)度機(jī)制一直是學(xué)術(shù)研究的熱點(diǎn)，而LATE調(diào)度器算法從某種程度上解決了現(xiàn)有調(diào)度器的一些問(wèn)題。本文在分析LATE調(diào)度算法的基礎(chǔ)上，結(jié)合工作集群的工作負(fù)載波動(dòng)性和工作數(shù)據(jù)局部性等特殊性，對(duì)LATE調(diào)度算法進(jìn)行了一些改進(jìn)。之后，對(duì)算法進(jìn)行了實(shí)驗(yàn)及性能分析，驗(yàn)證了算法在提高資源利用率，動(dòng)態(tài)調(diào)整資源分配，提高了作業(yè)的效率有很大改進(jìn)。
　　本課題考慮了節(jié)點(diǎn)性能波