異構(gòu)環(huán)境下Map-Reduce調(diào)度算法的研究.pdf

1、云計(jì)算技術(shù)使中小型企業(yè)不必組建自己的數(shù)據(jù)中心,采用“用時(shí)付費(fèi)”的方式,也能獲取需要的計(jì)算和存儲(chǔ)服務(wù)。云計(jì)算系統(tǒng)背后是強(qiáng)大的并行計(jì)算和分布式存儲(chǔ)技術(shù)。Map-Reduce是現(xiàn)有的云系統(tǒng)采用的并行編程模型和調(diào)度方式,在異構(gòu)環(huán)境下,傳統(tǒng)的Map-Reduce調(diào)度器效率低下,浪費(fèi)系統(tǒng)資源,任務(wù)響應(yīng)時(shí)間長(zhǎng),吞吐率低。
　　本文首先簡(jiǎn)要地介紹了云計(jì)算的定義、發(fā)展、應(yīng)用場(chǎng)景、核心技術(shù)、以及改進(jìn)的Map-Reduce調(diào)度器:LATE調(diào)度器。本文的

2、主要工作是:提出了自適應(yīng)的Map-Reduce調(diào)度方式,針對(duì)傳統(tǒng)Map-Reduce調(diào)度方式和LATE調(diào)度器的缺點(diǎn)和不足,提出了改進(jìn)方法。即通過(guò)歷史信息動(dòng)態(tài)調(diào)整Map和Reduce任務(wù)各階段的時(shí)間比例。并將節(jié)點(diǎn)進(jìn)一步分類(lèi),從而能夠在快速節(jié)點(diǎn)上啟動(dòng)落后任務(wù)的備份任務(wù),從而減小響應(yīng)時(shí)間,并盡量避免節(jié)點(diǎn)空載,以免浪費(fèi)系統(tǒng)資源。本文分析了提出的改進(jìn)方式的理論基礎(chǔ),以及其他調(diào)度方式缺點(diǎn)。另外,通過(guò)具體實(shí)驗(yàn),驗(yàn)證了自適應(yīng)的Map-Reduce調(diào)度的