Hadoop集群系統(tǒng)性能優(yōu)化的研究.pdf

1、云計(jì)算在商業(yè)和科學(xué)研究上的價(jià)值已漸漸被社會認(rèn)可。它可以在搜索引擎、互聯(lián)網(wǎng)應(yīng)用技術(shù)、大規(guī)模數(shù)據(jù)計(jì)算等方面發(fā)揮出巨大的能量。Hadoop技術(shù)作為云計(jì)算技術(shù)的開源實(shí)現(xiàn)，對云計(jì)算技術(shù)的發(fā)展起到了十分重要的作用。現(xiàn)在大多數(shù)的企業(yè)和科學(xué)研究采用了Hadoop作為云計(jì)算平臺。Hadoop憑借它簡單的并行編程模型，龐大的數(shù)據(jù)存儲能力和高效的計(jì)算能力為用戶提供了良好的客戶體驗(yàn)。但是，由于Hadoop的發(fā)展時(shí)間比較短暫，系統(tǒng)中仍然有很多地方可以去完善和改進(jìn)

2、，才能更加充分地發(fā)揮其系統(tǒng)性能。因此對Hadoop系統(tǒng)性能的研究工作是必要并有意義的。
　　系統(tǒng)性能參數(shù)和任務(wù)級調(diào)度算法對Hadoop系統(tǒng)工作性能起著重要的影響，其中系統(tǒng)性能參數(shù)關(guān)系到集群工作各階段對系統(tǒng)資源的使用情況;任務(wù)級調(diào)度算法是Hadoop工作時(shí)任務(wù)分配的關(guān)鍵。參數(shù)值的確定與任務(wù)分配沒有統(tǒng)一的模型，是比較復(fù)雜的工作，目前對它們的研究還處于發(fā)展階段。因而我們從這兩方面對Hadoop系統(tǒng)性能的優(yōu)化進(jìn)行了研究。
　　本文著

3、重對集群節(jié)點(diǎn)的執(zhí)行能力進(jìn)行了分析與研究。為使Hadoop集群系統(tǒng)能夠應(yīng)對多變的任務(wù)及集群節(jié)點(diǎn)自身的差異對系統(tǒng)工作性能帶來的影響，設(shè)計(jì)Task Configure服務(wù)器及構(gòu)建了Hadoop集群參數(shù)信息系統(tǒng)對集群參數(shù)進(jìn)行自動調(diào)優(yōu);并針對當(dāng)前Hadoop集群默認(rèn)運(yùn)行的任務(wù)級調(diào)度算法可能存在的負(fù)載分布不均的狀況，提出了一種基于節(jié)點(diǎn)能力的任務(wù)自適應(yīng)分配方法。其中，參數(shù)信息系統(tǒng)的實(shí)現(xiàn)，采用節(jié)點(diǎn)資源利用效率生成集群系統(tǒng)參數(shù)的優(yōu)化配置值，再按節(jié)點(diǎn)和任務(wù)