面向Hadoop存儲(chǔ)系統(tǒng)的節(jié)能優(yōu)化技術(shù)研究.pdf

1、近年來(lái),基于云計(jì)算的互聯(lián)網(wǎng)服務(wù)不斷涌現(xiàn),其中MapReduce計(jì)算范式和HDFS分布式文件系統(tǒng)已逐漸成為開發(fā)大型數(shù)據(jù)密集型應(yīng)用的首選模型。從硬件供應(yīng)商的角度,這類應(yīng)用部署的規(guī)模如此巨大,降低服務(wù)集群的功率消耗既可以顯著降低運(yùn)營(yíng)成本,又能降低碳排放量,從而提高整體能效。
　　在傳統(tǒng)服務(wù)器節(jié)能策略的基礎(chǔ)上,針對(duì)提供 MapReduce作業(yè)服務(wù)的集群,提出一種節(jié)能優(yōu)化算法。該算法能根據(jù)集群當(dāng)前整體和局部的工作負(fù)載動(dòng)態(tài)地重構(gòu)節(jié)點(diǎn)或節(jié)點(diǎn)上的

2、數(shù)據(jù);同時(shí),控制數(shù)據(jù)放置策略很好的支持上述操作。該節(jié)能優(yōu)化算法具備了節(jié)能效果明顯、實(shí)時(shí)性高以及負(fù)載均衡開銷小等特性,可應(yīng)用于數(shù)據(jù)密集型計(jì)算集群和企業(yè)數(shù)據(jù)中心等環(huán)境中。
　　具體地,實(shí)現(xiàn)節(jié)能優(yōu)化的能耗控制系統(tǒng)由數(shù)據(jù)分發(fā)模塊、節(jié)點(diǎn)失效模塊和能耗調(diào)節(jié)模塊三個(gè)組件組成。數(shù)據(jù)分發(fā)模塊通過(guò)對(duì) HDFS數(shù)據(jù)塊分發(fā)和對(duì)應(yīng)副本放置流程進(jìn)行修改,實(shí)現(xiàn)人為控制數(shù)據(jù)塊號(hào)到 DataNode節(jié)點(diǎn)映射;節(jié)點(diǎn)失效模塊使得 HDFS具備容忍節(jié)點(diǎn)增加/缺失的功能;

3、能耗調(diào)節(jié)器是提高能效的核心,包含兩個(gè)線程,分別對(duì)應(yīng)兩種算法:dilution和enrichment。在集群的某個(gè)機(jī)架利用率高于管理員預(yù)定的閾值時(shí),能耗調(diào)節(jié)模塊會(huì)根據(jù) dilution算法適時(shí)地添加新節(jié)點(diǎn),并將附近節(jié)點(diǎn)上的數(shù)據(jù)遷移到新節(jié)點(diǎn)上;當(dāng)集群出現(xiàn)某個(gè)機(jī)架的利用率偏低時(shí),能耗調(diào)節(jié)器可依據(jù)enrichment算法移除目標(biāo)節(jié)點(diǎn),并其上的數(shù)據(jù)遷移到附近節(jié)點(diǎn)上。從而,實(shí)現(xiàn)系統(tǒng)當(dāng)前工作負(fù)載與系統(tǒng)性能的動(dòng)態(tài)匹配。
　　在最終測(cè)試方面,利用G