基于性能預(yù)估的Hadoop參數(shù)自動調(diào)優(yōu)系統(tǒng).pdf

1、MapReduce是處理大規(guī)模數(shù)據(jù)的有效工具,Hadoop是MapReduce的一個開源實現(xiàn),由于其良好的容錯性和可擴(kuò)展性得到的廣泛研究和使用。然而,為了有效的使用Hadoop集群資源,即使在Hadoop中運行一個簡單的程序也需要用戶或者管理員調(diào)整大量的Hadoop參數(shù)。在Hadoop中有190個的參數(shù),這些參數(shù)控制著MapReduce作業(yè)在Hadoop中的運行行為。用戶經(jīng)常會因為不知道如何設(shè)置這些參數(shù)而遇到性能問題。
　　基于性

2、能預(yù)估的Hadoop參數(shù)自動調(diào)優(yōu)系統(tǒng)HCOpt,針對Hadoop的高可配置性,通過動態(tài)字節(jié)碼注入技術(shù)追蹤MapReduce作業(yè)的運行信息,并對這些信息進(jìn)行統(tǒng)計分析,提取Hadoop應(yīng)用程序的運行特性;再通過輕量級MapReduce模擬器以及代價模型,結(jié)合Hadoop應(yīng)用程序的運行特征預(yù)估該程序在指定參數(shù)配置方案下的運行性能;通過一種基于遺傳算法的參數(shù)調(diào)優(yōu)算法,結(jié)合性能預(yù)估,在大量的參數(shù)配置方案中搜索近似最優(yōu)的參數(shù)配置方案,實現(xiàn)Hadoo

3、p參數(shù)自動調(diào)優(yōu)功能。HCOpt通過動態(tài)字節(jié)碼注入技術(shù)來追蹤MapReduce作業(yè)運行信息,將系統(tǒng)對應(yīng)用程序的運行影響以及和Hadoop之間的耦合度降到最低,可以很好的適應(yīng)各種版本的Hadoop,同時通過對Hadoop參數(shù)的調(diào)優(yōu),在相同的硬件條件下充分利用系統(tǒng)資源提高了Hadoop應(yīng)用程序的運行性能。
　　通過典型的Hadoop應(yīng)用程序測試HCOpt的有效性,結(jié)果分析表明對I/O密集型和計算密集型應(yīng)用均有較好的性能提升效果,和系統(tǒng)默