Hadoop系統(tǒng)中調(diào)度算法的研究和改進(jìn).pdf

1、MapReduce是Google提出的一個(gè)軟件架構(gòu),用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。MapReduce用在非常廣泛的應(yīng)用程序中,包括“分布grep,分布排序,Web連接圖反轉(zhuǎn),每臺(tái)機(jī)器的詞矢量,Web訪問(wèn)日志分析,反向索引構(gòu)建,文檔聚類,機(jī)器學(xué)習(xí),基于統(tǒng)計(jì)的機(jī)器翻譯……”。Hadoop是Apache軟件基金會(huì)所研發(fā)的開(kāi)放源碼并行運(yùn)算編程工具。它是MapReduce的開(kāi)源實(shí)現(xiàn)。Hadoop默認(rèn)調(diào)度器以集群同構(gòu)為前提,在異構(gòu)環(huán)境下

2、,極其容易產(chǎn)生集群資源調(diào)度不公,從而引起集群吞吐量下降,響應(yīng)時(shí)間加長(zhǎng)。
　　 本文首先對(duì)MapReduce進(jìn)行了簡(jiǎn)要的介紹,分析了其調(diào)度器的工作原理,并介紹了改進(jìn)后的調(diào)度器LATE。本文的主要工作是:針對(duì)原調(diào)度器在異構(gòu)集群中低效的表現(xiàn),并結(jié)合LATE調(diào)度器的思想,提出了一種改進(jìn)的LATE調(diào)度器。在使用改進(jìn)的LATE調(diào)度器中:使用剩余完成時(shí)間作為啟動(dòng)備份依據(jù)的同時(shí),使用上一次成功完成的任務(wù)中的各階段占總?cè)蝿?wù)的百分比來(lái)估計(jì)此次任務(wù)的