基于存儲(chǔ)驅(qū)動(dòng)的Hadoop節(jié)能調(diào)度策略研究.pdf

1、二十一世紀(jì)是信息的時(shí)代，信息傳輸伴隨著數(shù)據(jù)量的增加，人們逐漸發(fā)現(xiàn)隱含在這些海量數(shù)據(jù)下的價(jià)值，于是用于分析處理海量數(shù)據(jù)的平臺(tái)應(yīng)運(yùn)而生，Hadoop便是這其中最經(jīng)典的海量數(shù)據(jù)處理框架。Hadoop需要構(gòu)建一個(gè)龐大的數(shù)據(jù)節(jié)點(diǎn)集群，通過(guò)HDFS，Yarn，MapReduce等組件實(shí)現(xiàn)海量數(shù)據(jù)的高效并行計(jì)算。然而近年來(lái)二氧化碳等溫室氣體的排放量逐年增加，導(dǎo)致了全球溫室效應(yīng)日益嚴(yán)重，與此同時(shí)大規(guī)模數(shù)據(jù)中心需要龐大的服務(wù)器集群作為支撐，以及大規(guī)模的制

2、冷設(shè)備會(huì)消耗大量的能量以及企業(yè)成本開銷，使得數(shù)據(jù)中心的節(jié)能減排問(wèn)題越來(lái)越受到重視，基于這些原因使得Hadoop節(jié)能研究變得十分必要。
　　本文通過(guò)對(duì)Hadoop自帶的隨機(jī)選擇存儲(chǔ)策略和磁盤輪詢存儲(chǔ)策略兩種副本存儲(chǔ)策略深入剖析，找出兩種策略在能耗控制方面的缺陷，同時(shí)結(jié)合數(shù)據(jù)本地化的Hadoop任務(wù)調(diào)度原則，本文提出一種策略，即通過(guò)數(shù)據(jù)本地化原則將任務(wù)的調(diào)度問(wèn)題轉(zhuǎn)化為數(shù)據(jù)塊副本的調(diào)度問(wèn)題，創(chuàng)新的設(shè)計(jì)出一種基于存儲(chǔ)驅(qū)動(dòng)的Hadoop節(jié)能

3、調(diào)度策略，同時(shí)構(gòu)建出兩層副本存儲(chǔ)策略來(lái)控制集群負(fù)載均衡以及能量消耗，作為本文設(shè)計(jì)的節(jié)能調(diào)度策略的核心。
　　本文設(shè)計(jì)的節(jié)能策略可以實(shí)現(xiàn)Hadoop集群任務(wù)的運(yùn)行時(shí)間和總體能耗兩個(gè)維度上的節(jié)能。該策略核心是兩層副本存儲(chǔ)策略。其中第一層副本存儲(chǔ)策略根據(jù)數(shù)據(jù)節(jié)點(diǎn)磁盤的剩余容量，讀寫操作引用數(shù)實(shí)現(xiàn)兩層算法，通過(guò)實(shí)現(xiàn)負(fù)載均衡提高集群整體性能，從而減少任務(wù)的運(yùn)行時(shí)間。第二層副本存儲(chǔ)策略主要考慮任務(wù)本身的種類特征以及任務(wù)所在數(shù)據(jù)節(jié)點(diǎn)的實(shí)時(shí)狀態(tài)，

4、通過(guò)對(duì)任務(wù)特征任務(wù)與數(shù)據(jù)節(jié)點(diǎn)的實(shí)時(shí)狀態(tài)進(jìn)行匹配，使任務(wù)被分配到能耗最少的數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，從而達(dá)到減少集群能耗的目的。
　　最后本文通過(guò)XenServer平臺(tái)搭建了具有32個(gè)數(shù)據(jù)節(jié)點(diǎn)的Hadoop集群環(huán)境，首先通過(guò)兩組實(shí)驗(yàn)得出了本文設(shè)計(jì)的能量度量模型理論推導(dǎo)公式的近似參數(shù)，接下來(lái)將本文設(shè)計(jì)的節(jié)能調(diào)度策略與Hadoop自帶的隨機(jī)選擇和磁盤輪詢存儲(chǔ)策略相對(duì)比，用三組對(duì)比實(shí)驗(yàn)證明了本文設(shè)計(jì)的節(jié)能調(diào)度策略在控制數(shù)據(jù)節(jié)點(diǎn)磁盤負(fù)載均衡方面具有較