Hadoop海量小文件處理技術(shù)的應(yīng)用研究.pdf

1、隨著大數(shù)據(jù)時代的到來，僅僅中國每年產(chǎn)生的數(shù)據(jù)量就已經(jīng)到達(dá) ZB級別，對于這些海量數(shù)據(jù)的存儲和處理，傳統(tǒng)的數(shù)據(jù)庫技術(shù)和系統(tǒng)架構(gòu)已經(jīng)越來越乏力，Hadoop作為近幾年發(fā)展起來的大數(shù)據(jù)處理平臺，它是由Apache軟件基金會開發(fā)的開源分布式數(shù)據(jù)處理框架，它在處理大數(shù)據(jù)時具有可靠性、可伸縮性、高效性、可擴(kuò)展性、低成本等優(yōu)點。HDFS作為Hadoop的文件系統(tǒng)，它繼承了傳統(tǒng)存儲系統(tǒng)的優(yōu)點，同時采用具有開創(chuàng)性的設(shè)計思路來實現(xiàn)自己的功能，使它能夠處理大

2、規(guī)模數(shù)據(jù)，并且使它成為可擴(kuò)展的文件存儲與傳輸系統(tǒng)。然而采用Hadoop處理海量小文件時，卻出現(xiàn)一系列性能瓶頸，比如名稱節(jié)點占用率高、訪問效率低、檢索效率低等，因此，Hadoop海量小文件處理技術(shù)已然成為學(xué)術(shù)界和工業(yè)界一個重要的研究課題。
　　為了解決Hadoop處理海量小文件產(chǎn)生的一系列性能問題，本文的主要思想是采用BM25算法確定小文件相關(guān)性，對文件進(jìn)行分類合并以減少文件數(shù)量，從而緩解NameNode存儲海量小文件的元數(shù)據(jù)而造成

3、的內(nèi)存瓶頸，在合并文件的同時建立索引機(jī)制，實現(xiàn)從合并文件到單個小文件的訪問。此外，根據(jù)文件的相關(guān)性，分別提供相關(guān)小文件的預(yù)取機(jī)制和相關(guān)小文件的索引預(yù)取機(jī)制，這將有利于減小NameNode中元數(shù)據(jù)請求所產(chǎn)生的負(fù)荷，能夠在讀請求方面實現(xiàn)更好的性能，在整個系統(tǒng)中，使用內(nèi)存數(shù)據(jù)庫技術(shù)（Memcached）構(gòu)建緩存層（Cache），完成相關(guān)文件映射和預(yù)取工作，提高小文件的檢索效率。
　　本文對改進(jìn)的小文件處理方案進(jìn)行了系統(tǒng)測試，采用網(wǎng)絡(luò)數(shù)據(jù)