基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究.pdf

1、云計(jì)算是當(dāng)前國(guó)內(nèi)外研究的熱點(diǎn)領(lǐng)域之一，它通過網(wǎng)絡(luò)整合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，并且將這些資源按需提供給用戶使用。Hadoop是一個(gè)開源的分布式系統(tǒng)框架，可以實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)計(jì)算和存儲(chǔ)，通常部署在服務(wù)器集群中。將Hadoop部署在IaaS云環(huán)境有諸多益處，但I(xiàn)aaS云為Hadoop提供的環(huán)境和傳統(tǒng)的物理集群存在差異。本文主要研究將Hadoop部署在IaaS云環(huán)境，在以下三個(gè)方面開展研究性工作:
　　(1)考慮到IaaS云環(huán)境中Hado

2、op不能了解底層物理主機(jī)的資源使用情況，為合理利用物理主機(jī)的資源和增強(qiáng)虛擬集群的可伸縮性，本文設(shè)計(jì)將Hadoop和IaaS云融合的DHCI((D)ynamic Hadoop(C)luster on(I)aaS)架構(gòu)。在DHCI架構(gòu)中，除私有云和Hadoop原有的套件外，增加監(jiān)控模塊、虛擬機(jī)管理模塊和調(diào)度模塊。監(jiān)控模塊收集物理主機(jī)負(fù)載信息，為Hadoop資源調(diào)度研究提供了依據(jù);虛擬機(jī)管理模塊和調(diào)度模塊實(shí)現(xiàn)集群靈活的伸縮。
　　(2)

3、在DHCI架構(gòu)基礎(chǔ)上，本文提出基于物理主機(jī)負(fù)載反饋的資源調(diào)度策略。通過調(diào)度模塊獲取的物理主機(jī)負(fù)載信息，并對(duì)這些負(fù)載信息進(jìn)行分級(jí)處理，確保Hadoop進(jìn)行資源分配時(shí)，有效避免將資源分配給負(fù)載過重的物理主機(jī)，實(shí)現(xiàn)物理主機(jī)負(fù)載的均衡。
　　(3)本文在Hadoop集群中使用計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)相分離的部署策略，雖然可以較好地保證集群的可伸縮性，但在一定程度上破壞了Hadoop的數(shù)據(jù)本地性。為此，本文設(shè)計(jì)IaaS云平臺(tái)上動(dòng)態(tài)虛擬機(jī)遷移策略。

4、基于“移動(dòng)計(jì)算”的思想，充分考慮運(yùn)算資源特點(diǎn)，將不滿足本地性要求的計(jì)算節(jié)點(diǎn)遷移到相應(yīng)存儲(chǔ)節(jié)點(diǎn)所在的物理主機(jī)或機(jī)架上，以減輕帶寬資源的消耗，進(jìn)而提高系統(tǒng)的性能。
　　最后，本文選用開源的計(jì)算管理平臺(tái)OpenStack作為IaaS云平臺(tái)，對(duì)所提出系統(tǒng)架構(gòu)和策略進(jìn)行實(shí)現(xiàn)。采用Hadoop的性能測(cè)試工具Hibench實(shí)現(xiàn)系統(tǒng)性能測(cè)試。結(jié)果表明:在運(yùn)行相同的任務(wù)情況下，DHCI架構(gòu)完成時(shí)間要少于普通Hadoop集群。在任務(wù)運(yùn)行過程中，對(duì)物理