虛擬Hadoop集群動(dòng)態(tài)資源調(diào)度策略研究.pdf

1、隨著信息和數(shù)據(jù)爆炸式增長的大數(shù)據(jù)時(shí)代的到來，由分布式計(jì)算和網(wǎng)格計(jì)算發(fā)展起來的云計(jì)算，無疑是當(dāng)今IT領(lǐng)域研究的熱點(diǎn)。Hadoop是一個(gè)重量級(jí)的分布式處理開源框架，它在對(duì)大數(shù)據(jù)存儲(chǔ)和處理方面有著明顯的優(yōu)勢。這使得它成為越來越多的企業(yè)和學(xué)者研究的云計(jì)算平臺(tái)。然而海量的數(shù)據(jù)使得Hadoop集群越來越大，作業(yè)類型也越來越繁多，如何使得Hadoop集群處理作業(yè)的性能提高，同時(shí)又能提高計(jì)算資源的利用率，讓集群資源得到充分的負(fù)載均衡。這已經(jīng)是當(dāng)前最受關(guān)

2、注的資源調(diào)度問題之一。
　　本論文主要使用當(dāng)前最主流的開源IaaS云平臺(tái)OpenStack來虛擬化Hadoop集群，來研究虛擬Hadoop平臺(tái)動(dòng)態(tài)資源調(diào)度策略，進(jìn)行了如下研究工作:
　　(1)分析傳統(tǒng)企業(yè)直接將Hadoop集群部署在物理機(jī)上存在的一些資源浪費(fèi)的問題，和Hadoop集群虛擬化后對(duì)資源優(yōu)化的好處。提出一種將Hadoop節(jié)點(diǎn)中的計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)分離，并將其搭建在OpenStack云平臺(tái)上，使Hadoop集群虛擬化

3、的部署模式。
　　(2)分析Hadoop的各種應(yīng)用對(duì)計(jì)算資源的要求不同，將Hadoop集群處理的作業(yè)分為CPU、內(nèi)存、存儲(chǔ)、IO密集型作業(yè)。分析Hadoop集群常用的三種作業(yè)調(diào)度算法，提出從作業(yè)類型出發(fā)來研究Hadoop集群的虛擬機(jī)資源調(diào)度算法。
　　(3)詳細(xì)研究了OpenStack開源云平臺(tái)的組織架構(gòu)，并對(duì)OpenStack資源調(diào)度機(jī)制做出了詳細(xì)分析研究。分析原有的OpenStack云平臺(tái)算資源的調(diào)度算法，即只根據(jù)內(nèi)存權(quán)

4、重來調(diào)度虛擬機(jī)資源，綜合考慮包含CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)帶寬等權(quán)重參數(shù)在內(nèi)的多種因素，提出一種新的虛擬機(jī)資源調(diào)度思想。
　　(4)提出基于改進(jìn)的蟻群算法和遺傳算法的虛擬機(jī)調(diào)度算法。通過對(duì)Hadoop與OpenStack平臺(tái)的融合，改進(jìn)OpenStack虛擬機(jī)調(diào)度算法，從而改善Hadoop集群虛擬機(jī)節(jié)點(diǎn)的資源調(diào)度問題。仿真實(shí)驗(yàn)證明，相比于原OpenStack調(diào)度算法，改進(jìn)的蟻群調(diào)度算法在任務(wù)分配時(shí)間、任務(wù)執(zhí)行時(shí)間、虛擬機(jī)負(fù)載率等方面