Hadoop云平臺(tái)調(diào)度算法研究.pdf

1、Hadoop集群雖然已經(jīng)存在多年，但是依然是當(dāng)前集群加速計(jì)算中的主要工具，并在各大互聯(lián)網(wǎng)公司得到廣泛應(yīng)用。由于調(diào)度算法在集群中起到了關(guān)鍵作用，而Hadoop中的調(diào)度算法還是有有待改進(jìn)的地方，故對(duì)Hadoop的研究依然很有意義。同時(shí)，云計(jì)算技術(shù)使得用戶能夠快速獲得任意大小的集群，來執(zhí)行一個(gè)給定的工作負(fù)載，然后用戶為使用資源的時(shí)長(zhǎng)付費(fèi)，所以如何優(yōu)化Hadoop云平臺(tái)的租用費(fèi)用也很有研究意義。此外，隨著云平臺(tái)規(guī)模的不斷擴(kuò)大，并且普通節(jié)點(diǎn)大量用

2、于云平臺(tái)的資源中，因而節(jié)點(diǎn)的容錯(cuò)研究也變得越來越關(guān)鍵，如何提高 Hadoop云平臺(tái)的容錯(cuò)性是一個(gè)值得研究的課題。
　　為了利用有限的資源最大地減少作業(yè)的完成時(shí)間，本文在研究Hadoop推測(cè)執(zhí)行機(jī)制的基礎(chǔ)上，為此提出了一個(gè)基于平衡的推測(cè)執(zhí)行算法（Balance-SE）。算法在進(jìn)行推測(cè)執(zhí)行時(shí)，先對(duì)每個(gè)作業(yè)進(jìn)行篩選，讓只有滿足條件的作業(yè)進(jìn)行推測(cè)執(zhí)行機(jī)制，從而使得推測(cè)執(zhí)行機(jī)制的進(jìn)行能夠真正使得作業(yè)的總完成時(shí)間得到減少，避免了許多不必要的備

3、份任務(wù)的執(zhí)行。同時(shí)，由于云平臺(tái)具有按使用付費(fèi)的特性，為了最小化用戶租用云平臺(tái)資源的開銷，我們?yōu)槊總€(gè)不同的MapReduce應(yīng)用選擇一個(gè)最佳的 Hadoop配置平臺(tái)，這里的配置信息包括虛擬機(jī)(Virtual Machine，VM)的類型、個(gè)數(shù)，以及作業(yè)的調(diào)度。即給定一系列MapReduce作業(yè)和一個(gè)作業(yè)截止完成時(shí)間，為這些作業(yè)決策一個(gè)同構(gòu)或者異構(gòu)的最優(yōu)Hadoop集群配置，使得用戶的租用費(fèi)用最小。由于Hadoop云平臺(tái)容錯(cuò)的重要性，以及不

4、同類型的VM具有不同的計(jì)算能力，從而使得不同類型的VM發(fā)生故障將引起不同的開銷，顯然，發(fā)生故障的VM計(jì)算能力越大，導(dǎo)致的開銷也越大。因此，本文在此基礎(chǔ)上設(shè)計(jì)了一個(gè)基于自適應(yīng)和檢查點(diǎn)的容錯(cuò)算法。首先每個(gè)VM根據(jù)其完成作業(yè)的情況，自適應(yīng)地更新自身的可靠性，如果 VM正確地完成一個(gè)作業(yè)，則相應(yīng)的可靠性增加，若運(yùn)行一個(gè)作業(yè)失敗，則VM可靠性降低。接著，對(duì)于可靠性低于一定閾值的VM進(jìn)行檢查點(diǎn)設(shè)置，而針對(duì)不同類型的VM，本文分別進(jìn)行考慮，為不同類型