Hadoop運(yùn)行參數(shù)自動(dòng)優(yōu)化研究.pdf

1、Hadoop是Apache軟件基金會(huì)開(kāi)發(fā)和推出的用于海量數(shù)據(jù)的存儲(chǔ)和計(jì)算的并行分布式MapReduce框架。Hadoop的運(yùn)行效率涉及到眾多因素，如集群系統(tǒng)配置，任務(wù)類型，任務(wù)調(diào)度，參數(shù)配置等。其中參數(shù)配置是很重要的一個(gè)因素，合理的參數(shù)配置能在很大程度上提升Hadoop的性能。
　　本文探討了國(guó)內(nèi)外Hadoop參數(shù)優(yōu)化的研究現(xiàn)狀，介紹了Hadoop的基本框架及運(yùn)行機(jī)制，總結(jié)了在現(xiàn)有的一些Hadoop的運(yùn)行參數(shù)進(jìn)行優(yōu)化方法的不足之處

2、。蠻力搜索方法和在這基礎(chǔ)建立模型進(jìn)行參數(shù)優(yōu)化的方法不能得到Hadoop性能變化的根本原因。Hadoop內(nèi)部函數(shù)調(diào)用信息的變化從一定程度上反映了Hadoop的性能變化的本質(zhì)。從這一點(diǎn)出發(fā)，本文提出一種基于Hadoop函數(shù)調(diào)用監(jiān)控反饋的參數(shù)自動(dòng)優(yōu)化模型。這個(gè)自動(dòng)優(yōu)化模型通過(guò)實(shí)驗(yàn)提取任務(wù)特征，對(duì)任務(wù)進(jìn)行自動(dòng)優(yōu)化配置。如果模型的數(shù)據(jù)庫(kù)中無(wú)法直接得到任務(wù)最佳配置，則采用一種隨機(jī)抽樣算法對(duì)任務(wù)輸入進(jìn)行抽樣，提出一種基于函數(shù)調(diào)用反饋的啟發(fā)式參數(shù)優(yōu)化方

3、法，運(yùn)用這種方法進(jìn)行參數(shù)優(yōu)化實(shí)驗(yàn)，分析參數(shù)改變時(shí)Hadoop的性能改變的根本原因，啟發(fā)式地得到相應(yīng)的優(yōu)化方案和最佳的參數(shù)組合。
　　為了實(shí)現(xiàn)對(duì)Hadoop內(nèi)部函數(shù)調(diào)用信息進(jìn)行監(jiān)控，本文從源代碼的角度出發(fā)，深入分析了Hadoop任務(wù)運(yùn)行過(guò)程中的調(diào)用的部分函數(shù);并根據(jù)這些函數(shù)將Hadoop的任務(wù)運(yùn)行過(guò)程分成不同的運(yùn)行階段，分別對(duì)不同階段的函數(shù)調(diào)用信息進(jìn)行監(jiān)控;研究了面向切面編程技術(shù)，實(shí)現(xiàn)了在不直接修改源代碼的情況下，對(duì)Hadoop內(nèi)部