基于Hadoop的海量統(tǒng)計小文件存儲優(yōu)化研究.pdf

1、隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等科學(xué)技術(shù)的不斷發(fā)展，信息數(shù)據(jù)量迅猛增長，我們已經(jīng)進(jìn)入大數(shù)據(jù)時代。傳統(tǒng)的數(shù)據(jù)技術(shù)架構(gòu)在處理海量數(shù)據(jù)時暴露出很多問題，在處理效率、可擴(kuò)展性、可用性、并發(fā)性等方面越來越不能滿足人們的要求。海量數(shù)據(jù)的存儲和處理成為一個熱點課題，亟需一種新的存儲方式和處理手段。
　　作為一個開源分布式計算平臺，Hadoop能夠在大量普通機(jī)器組成的服務(wù)器群中對海量數(shù)據(jù)進(jìn)行分布式處理，且具有高效性、高擴(kuò)展性、高可靠性、高容錯性等特點，在

2、存儲和處理大量數(shù)據(jù)的效率和性能上有著天然的優(yōu)勢。然而由于Hadoop自身的主從式結(jié)構(gòu)和元數(shù)據(jù)存儲方式導(dǎo)致其在處理海量小文件時出現(xiàn)效率低下的問題。
　　本文結(jié)合統(tǒng)計工作，將 Hadoop框架應(yīng)用于海量統(tǒng)計數(shù)據(jù)的存儲和處理，針對Hadoop平臺在處理大量的圖片、文本類型等格式的統(tǒng)計小文件時產(chǎn)生的NameNode內(nèi)存消耗過度、文件訪問效率低下等問題，通過研究統(tǒng)計文件的特點，在吸取其他研究者優(yōu)秀策略的基礎(chǔ)上，利用 Hadoop生態(tài)系統(tǒng)的相

3、關(guān)組件，對 Hadoop集群進(jìn)行改進(jìn)和優(yōu)化，主要進(jìn)行了三方面工作：一是設(shè)計了一個文件合并模塊，采用MapFile技術(shù)將具有相關(guān)性的小文件合并成一個大文件然后上傳至HDFS，在一定程度上減少了文件的元數(shù)據(jù)信息，減輕了NameNode內(nèi)存的存儲壓力，提高了存儲效率，另外建立小文件到大文件的映射，將映射文件存儲到 HBase中以提高小文件的訪問效率；二是由于合并在同一個數(shù)據(jù)塊中的小文件是有關(guān)聯(lián)的，本文在Client端建立了預(yù)取機(jī)制，當(dāng)讀取文件

4、時對其對應(yīng)的索引文件進(jìn)行預(yù)取，以減少對NameNode節(jié)點的訪問，提高NameNode節(jié)點的性能；三是將緩存方案引入了文件讀取過程，分別在DataNode節(jié)點和Client端建立緩存，進(jìn)一步優(yōu)化了小文件的I/O操作，提高了文件讀取效率。
　　最后，為了評估優(yōu)化后系統(tǒng)的整體性能，對系統(tǒng)進(jìn)行了量化分析和測試。實驗通過在系統(tǒng)中進(jìn)行小文件讀寫測試，并與優(yōu)化前Hadoop集群、Sequencefile方法進(jìn)了對比，主要對NameNode節(jié)點