異構(gòu)環(huán)境下的作業(yè)調(diào)度算法在Hadoop實現(xiàn)中的優(yōu)化.pdf

1、云計算的提出是對互聯(lián)網(wǎng)的一個沖擊，它實現(xiàn)了計算能力的商品化，其透明性和簡單的編程模式為開發(fā)者帶來了更便捷的服務(wù)開發(fā)和部署方式。2009年被稱為云計算元年，AmaZon、Google、IBM等諸IT巨頭都把目光聚焦在云計算，將其視為未來發(fā)展的主要戰(zhàn)略方向。因此，對云計算進(jìn)行研究既迎合了IT技術(shù)的發(fā)展趨勢，又具有較強(qiáng)的實際意義和商用價值。
　　MapReduce是一種重要的并行計算模型，可以高效的運行在包含上千個節(jié)點的數(shù)據(jù)中心。它不僅

2、僅是編程模型，還是優(yōu)秀的任務(wù)調(diào)度模型，其作業(yè)調(diào)度問題已成為業(yè)內(nèi)最熱烈的討論話題之一，并成為云計算系統(tǒng)高效穩(wěn)定運行的關(guān)鍵技術(shù)。在實際應(yīng)用中，作業(yè)調(diào)度常常會面臨節(jié)點性能異構(gòu)，混合負(fù)載等情形，處理這些問題涉及到資源感知，機(jī)器學(xué)習(xí)，人工智能，和匹配算法等多方面的技術(shù)，實現(xiàn)起來相當(dāng)復(fù)雜。目前國內(nèi)外許多專家和學(xué)者就致力于異構(gòu)環(huán)境下的調(diào)度技術(shù)的研究，同時也出現(xiàn)了各種不同的作業(yè)調(diào)度器。
　　本文對MapReduce編程模型做了深入的研究，并對Ha

3、doop平臺上常用的三種調(diào)度算法進(jìn)行了全面的分析。在以上研究基礎(chǔ)上提出了一種新的作業(yè)調(diào)度器，即基于資源感知的自適應(yīng)任務(wù)調(diào)度器。針對Hadoop計算平臺中集群異構(gòu)性的問題，它通過資源感知監(jiān)控系統(tǒng)中執(zhí)行作業(yè)的歷史信息和集群資源的狀況，根據(jù)每個計算節(jié)點的處理能力合理的分配任務(wù).并且可以自適應(yīng)的負(fù)載分類，實現(xiàn)CPU和I/O資源的有效利用。另外利用基于deadline約束的優(yōu)先級調(diào)度為不同類型的作業(yè)提供相應(yīng)高水平服務(wù)，并對Hadoop原始的推測執(zhí)