基于機(jī)器學(xué)習(xí)的Hadoop參數(shù)調(diào)優(yōu)方法.pdf

1、在大數(shù)據(jù)技術(shù)向各行各業(yè)普及的背景下，以MapReduce為代表，相關(guān)系統(tǒng)、平臺(tái)被廣泛、規(guī)?；渴穑欢趯?shí)際應(yīng)用場(chǎng)景中部署的此類(lèi)系統(tǒng)由于其應(yīng)用環(huán)境的復(fù)雜性，以及系統(tǒng)性能調(diào)優(yōu)上的緊迫需求與專(zhuān)業(yè)性，要實(shí)現(xiàn)系統(tǒng)良好運(yùn)轉(zhuǎn)，往往依賴(lài)于運(yùn)維人員的長(zhǎng)期經(jīng)驗(yàn)積累。僅僅采用通用化方案部署系統(tǒng)使其運(yùn)轉(zhuǎn)，經(jīng)常造成嚴(yán)重性能問(wèn)題，因?yàn)橐话阌脩?hù)或者不知道系統(tǒng)中有哪些參數(shù)與目標(biāo)應(yīng)用有關(guān)；或者不清楚應(yīng)該如何合理設(shè)置這些參數(shù)；又或者參數(shù)之間存在各種潛在關(guān)系，需要加以分析

2、進(jìn)行復(fù)雜權(quán)衡折衷。作為大數(shù)據(jù)分析平臺(tái)的代表，MapReduce擁有巨大的參數(shù)空間，其中有70多個(gè)參數(shù)影響作業(yè)性能，直接造成MapReduce作業(yè)參數(shù)的調(diào)整艱巨而費(fèi)時(shí)。此外，Hadoop應(yīng)用類(lèi)型繁多，若未充分分析應(yīng)用特性，要決定合適的參數(shù)也是非常困難的?，F(xiàn)有調(diào)整方法需要人工介入，緩慢且效率低下，更難以應(yīng)對(duì)大量參數(shù)、系統(tǒng)規(guī)模與應(yīng)用數(shù)據(jù)的增長(zhǎng)速度。
　　本設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于機(jī)器學(xué)習(xí)技術(shù)的Hadoop作業(yè)參數(shù)調(diào)優(yōu)方法并在本文搭建的系統(tǒng)H

3、MAT(Hadoop Parameters Auto-Tuning System Based On Machine Learning)中得到有效驗(yàn)證，針對(duì)Hadoop的豐富配置參數(shù)，給定集群硬件，利用一種新穎的兩階段機(jī)器學(xué)習(xí)來(lái)為新提交的任務(wù)進(jìn)行參數(shù)自動(dòng)調(diào)優(yōu)。其技術(shù)核心是一個(gè)基于支持向量機(jī)的性能模型，該模型用于匹配Hadoop作業(yè)的輸入數(shù)據(jù)規(guī)模和參數(shù)配置。為實(shí)現(xiàn)匹配，需綜合分析歷史作業(yè)資源使用特征與配置情況，然后進(jìn)行相應(yīng)決策。首先本文通過(guò)