Hadoop I-O性能優(yōu)化與研究.pdf

1、隨著大數(shù)據(jù)的飛速發(fā)展，作為海量數(shù)據(jù)處理的代表技術(shù)，Hadoop技術(shù)受到了越來越廣泛的關注。它的高擴展性，高容錯性以及低成本的優(yōu)勢使得它廣泛應用于數(shù)據(jù)中心，社交媒體，日志分析等大數(shù)據(jù)應用中。然而性能方面，Hadoop較并行數(shù)據(jù)庫相差甚遠。Hadoop的性能體現(xiàn)在眾多方面，如IO，運行效率，能耗等。而IO是軟件高性能運行效率的關鍵，當然Hadoop也不例外。
　　本文探討了國內(nèi)外Hadoop性能優(yōu)化的研究現(xiàn)狀，介紹了Hadoop的基本

2、框架，總結(jié)了現(xiàn)有的Hadoop性能問題主要體現(xiàn)在低延遲訪問，大量小文件，單節(jié)點故障等問題上，這些問題無不考驗Hadoop的I/O能力。本文從參數(shù)調(diào)優(yōu)的角度分析Hadoop性能優(yōu)化方法以及影響HadoopI/O性能的參數(shù)。通過調(diào)研，發(fā)現(xiàn)影響HadoopI/O的參數(shù)主要分為3類:靜態(tài)參數(shù)，動態(tài)參數(shù)，硬件參數(shù)。第二類參數(shù)涉及代碼的修改，本文將不做考慮。因此分別從第一類參數(shù)以及第三類參數(shù)出發(fā)，研究如何使用參數(shù)對HadoopI/O性能進行優(yōu)化。<

3、br>　　對于第一類參數(shù)，由于并行數(shù)據(jù)庫比Hadoop性能好的一個重要原因是使用了壓縮，因此，本文展開了壓縮對Hadoop性能影響研究。通過分析Hadoop中的壓縮，得到一個壓縮使用策略，并用不同的壓縮配置和不同的數(shù)據(jù)集對壓縮使用策略進行驗證補充。然而，壓縮是一把雙刃劍，它減少了IO負載，但增加了數(shù)據(jù)處理的步驟，使用了額外的資源。因此，本文使用Ganglia和作者實現(xiàn)的IOcostmodel去量化壓縮的代價與收益。綜合使用參數(shù)調(diào)優(yōu)，性能

4、監(jiān)控以及成本分析進行HadoopI/O性能優(yōu)化。
　　對于第三類參數(shù)，磁盤是Hadoop集群最重要的存儲介質(zhì)，如何將磁盤節(jié)能技術(shù)應用到Hadoop集群中，實現(xiàn)Hadoop的綠色存儲是非常有意義的。通過分析磁盤與Hadoop集群的交互，發(fā)現(xiàn)Reduce階段shuffle到內(nèi)存的過程中，磁盤是空閑的?；诖疟P空閑就閑置的思想，本文從Hdparm的源代碼出發(fā)，實現(xiàn)了與磁盤狀態(tài)相關的四個接口，并使用Blktrace區(qū)分真正的磁盤IO，從而