Hadoop I-O性能優(yōu)化與研究.pdf

1、隨著大數(shù)據(jù)的飛速發(fā)展，作為海量數(shù)據(jù)處理的代表技術(shù)，Hadoop技術(shù)受到了越來越廣泛的關(guān)注。它的高擴(kuò)展性，高容錯(cuò)性以及低成本的優(yōu)勢使得它廣泛應(yīng)用于數(shù)據(jù)中心，社交媒體，日志分析等大數(shù)據(jù)應(yīng)用中。然而性能方面，Hadoop較并行數(shù)據(jù)庫相差甚遠(yuǎn)。Hadoop的性能體現(xiàn)在眾多方面，如IO，運(yùn)行效率，能耗等。而IO是軟件高性能運(yùn)行效率的關(guān)鍵，當(dāng)然Hadoop也不例外。
　　本文探討了國內(nèi)外Hadoop性能優(yōu)化的研究現(xiàn)狀，介紹了Hadoop的基本

2、框架，總結(jié)了現(xiàn)有的Hadoop性能問題主要體現(xiàn)在低延遲訪問，大量小文件，單節(jié)點(diǎn)故障等問題上，這些問題無不考驗(yàn)Hadoop的I/O能力。本文從參數(shù)調(diào)優(yōu)的角度分析Hadoop性能優(yōu)化方法以及影響HadoopI/O性能的參數(shù)。通過調(diào)研，發(fā)現(xiàn)影響HadoopI/O的參數(shù)主要分為3類:靜態(tài)參數(shù)，動(dòng)態(tài)參數(shù)，硬件參數(shù)。第二類參數(shù)涉及代碼的修改，本文將不做考慮。因此分別從第一類參數(shù)以及第三類參數(shù)出發(fā)，研究如何使用參數(shù)對(duì)HadoopI/O性能進(jìn)行優(yōu)化。<

3、br>　　對(duì)于第一類參數(shù)，由于并行數(shù)據(jù)庫比Hadoop性能好的一個(gè)重要原因是使用了壓縮，因此，本文展開了壓縮對(duì)Hadoop性能影響研究。通過分析Hadoop中的壓縮，得到一個(gè)壓縮使用策略，并用不同的壓縮配置和不同的數(shù)據(jù)集對(duì)壓縮使用策略進(jìn)行驗(yàn)證補(bǔ)充。然而，壓縮是一把雙刃劍，它減少了IO負(fù)載，但增加了數(shù)據(jù)處理的步驟，使用了額外的資源。因此，本文使用Ganglia和作者實(shí)現(xiàn)的IOcostmodel去量化壓縮的代價(jià)與收益。綜合使用參數(shù)調(diào)優(yōu)，性能

4、監(jiān)控以及成本分析進(jìn)行HadoopI/O性能優(yōu)化。
　　對(duì)于第三類參數(shù)，磁盤是Hadoop集群最重要的存儲(chǔ)介質(zhì)，如何將磁盤節(jié)能技術(shù)應(yīng)用到Hadoop集群中，實(shí)現(xiàn)Hadoop的綠色存儲(chǔ)是非常有意義的。通過分析磁盤與Hadoop集群的交互，發(fā)現(xiàn)Reduce階段shuffle到內(nèi)存的過程中，磁盤是空閑的?；诖疟P空閑就閑置的思想，本文從Hdparm的源代碼出發(fā)，實(shí)現(xiàn)了與磁盤狀態(tài)相關(guān)的四個(gè)接口，并使用Blktrace區(qū)分真正的磁盤IO，從而