支持Hadoop配置的異構(gòu)虛擬機(jī)平臺(tái)的研究.pdf

1、隨著云計(jì)算技術(shù)的發(fā)展，各種大小不一的數(shù)據(jù)中心紛紛出現(xiàn)，而這些數(shù)據(jù)中心往往存在各種虛擬機(jī)管理平臺(tái)（如Eucalyptus，0penNebula和OpenStack等），應(yīng)用場(chǎng)景需求也完全不同，各種管理平臺(tái)要求不同的運(yùn)維、開(kāi)發(fā)技術(shù)和經(jīng)驗(yàn)，不同管理平臺(tái)間的服務(wù)器資源不能動(dòng)態(tài)共享，影響了彈性服務(wù)的性能。同時(shí)由于平臺(tái)中的不同的機(jī)器配置進(jìn)而也將影響其上層運(yùn)行的云計(jì)算應(yīng)用。Hadoop作為已廣泛應(yīng)用于數(shù)據(jù)密集型計(jì)算的云計(jì)算應(yīng)用之一，其中的MapRed

2、uce框架可配置參數(shù)的正確配置對(duì)計(jì)算的性能有著不可忽視的影響。然而，當(dāng)遇到異構(gòu)的Hadoop集群時(shí)，用戶一般只能使用默認(rèn)配置或者依照經(jīng)驗(yàn)進(jìn)行手工配置，由于參數(shù)調(diào)優(yōu)時(shí)可選擇的空間很大，這樣常常會(huì)導(dǎo)致錯(cuò)誤地配置致使計(jì)算性能下降。
　　針對(duì)多種多樣的虛擬機(jī)平臺(tái)的問(wèn)題，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)異構(gòu)虛擬機(jī)管理平臺(tái)。在不需要改變既有的虛擬機(jī)管理平臺(tái)結(jié)構(gòu)的基礎(chǔ)上，實(shí)現(xiàn)對(duì)現(xiàn)有主流的虛擬機(jī)管理平臺(tái)的統(tǒng)一管理和控制、虛擬資源的均衡分配;同時(shí)還提供可擴(kuò)展的

3、適配層接口和驅(qū)動(dòng)部件，支持其它異構(gòu)的虛擬機(jī)供應(yīng)和管理平臺(tái)。
　　針對(duì)異構(gòu)虛擬機(jī)平臺(tái)上的Hadoop應(yīng)用的問(wèn)題，本文提出了一種基于增強(qiáng)學(xué)習(xí)的MapReduce在線參數(shù)自動(dòng)配置方法。該方法利用離線學(xué)習(xí)粗粒度地創(chuàng)建初始化策略，在線學(xué)習(xí)根據(jù)策略細(xì)粒度地配置參數(shù)，并通過(guò)試錯(cuò)法迭代地更新Q值表使得配置結(jié)果接近最優(yōu)。實(shí)驗(yàn)結(jié)果表明，該配置方法可以有效地提高Hadoop的性能，并且能快速迭代實(shí)現(xiàn)收斂，使運(yùn)行MapReduce任務(wù)的機(jī)器資源得到充分使