虛擬Hadoop集群動態(tài)資源調(diào)度策略研究.pdf

1、隨著信息和數(shù)據(jù)爆炸式增長的大數(shù)據(jù)時代的到來，由分布式計算和網(wǎng)格計算發(fā)展起來的云計算，無疑是當今IT領(lǐng)域研究的熱點。Hadoop是一個重量級的分布式處理開源框架，它在對大數(shù)據(jù)存儲和處理方面有著明顯的優(yōu)勢。這使得它成為越來越多的企業(yè)和學者研究的云計算平臺。然而海量的數(shù)據(jù)使得Hadoop集群越來越大，作業(yè)類型也越來越繁多，如何使得Hadoop集群處理作業(yè)的性能提高，同時又能提高計算資源的利用率，讓集群資源得到充分的負載均衡。這已經(jīng)是當前最受關(guān)

2、注的資源調(diào)度問題之一。
　　本論文主要使用當前最主流的開源IaaS云平臺OpenStack來虛擬化Hadoop集群，來研究虛擬Hadoop平臺動態(tài)資源調(diào)度策略，進行了如下研究工作:
　　(1)分析傳統(tǒng)企業(yè)直接將Hadoop集群部署在物理機上存在的一些資源浪費的問題，和Hadoop集群虛擬化后對資源優(yōu)化的好處。提出一種將Hadoop節(jié)點中的計算節(jié)點和存儲節(jié)點分離，并將其搭建在OpenStack云平臺上，使Hadoop集群虛擬化

3、的部署模式。
　　(2)分析Hadoop的各種應用對計算資源的要求不同，將Hadoop集群處理的作業(yè)分為CPU、內(nèi)存、存儲、IO密集型作業(yè)。分析Hadoop集群常用的三種作業(yè)調(diào)度算法，提出從作業(yè)類型出發(fā)來研究Hadoop集群的虛擬機資源調(diào)度算法。
　　(3)詳細研究了OpenStack開源云平臺的組織架構(gòu)，并對OpenStack資源調(diào)度機制做出了詳細分析研究。分析原有的OpenStack云平臺算資源的調(diào)度算法，即只根據(jù)內(nèi)存權(quán)

4、重來調(diào)度虛擬機資源，綜合考慮包含CPU、內(nèi)存、存儲、網(wǎng)絡(luò)帶寬等權(quán)重參數(shù)在內(nèi)的多種因素，提出一種新的虛擬機資源調(diào)度思想。
　　(4)提出基于改進的蟻群算法和遺傳算法的虛擬機調(diào)度算法。通過對Hadoop與OpenStack平臺的融合，改進OpenStack虛擬機調(diào)度算法，從而改善Hadoop集群虛擬機節(jié)點的資源調(diào)度問題。仿真實驗證明，相比于原OpenStack調(diào)度算法，改進的蟻群調(diào)度算法在任務分配時間、任務執(zhí)行時間、虛擬機負載率等方面