基于HDFS的海量小文件處理性能的研究與優(yōu)化.pdf

1、當(dāng)前，隨著計算機和信息處理技術(shù)的迅猛發(fā)展，應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。傳統(tǒng)的存儲技術(shù)在面對海量數(shù)據(jù)的挑戰(zhàn)時顯得愈加的乏力。由 Apache基金會研發(fā)的分布式計算平臺 Hadoop，迅速成為了大部分科研機構(gòu)和企業(yè)進行大數(shù)據(jù)研究的首選。與此同時，隨著互聯(lián)網(wǎng)行業(yè)的強勢崛起和快速發(fā)展，催生出了海量的不同類型的小文件，而Hadoop最初的設(shè)計主要是針對大文件的存儲，而對海量小文件的存儲并未多加考慮。如果將海量的小文件

2、不經(jīng)任何預(yù)處理直接上傳至HDFS，將會造成NameNode內(nèi)存中元數(shù)據(jù)臃腫和文件訪問效率低下的問題。利用Hadoop在大文件處理方面的優(yōu)勢，基于合并的思想對小文件進行優(yōu)化處理，可以使得Hadoop同樣適用于海量小文件的存儲。
　　在海量小文件優(yōu)化方案實施之前，本文首先對NameNode的內(nèi)存消耗和訪問效率進行了量化分析，得出了可以從減少 NameNode所管理的文件數(shù)量，減少DataNode從磁盤上獲取數(shù)據(jù)塊的時間消耗等方面著手的

3、結(jié)論。本文的合并方案是基于MapFile實現(xiàn)，在進行小文件合并操作的同時為其創(chuàng)建索引，并將索引信息存放至 HBase中，同時為了加快文件的檢索效率，引入了緩存功能模塊，針對小文件的特性采用了改進的緩存置換策略。鑒于HDFS提供的Hadoop Shell和Http訪問方式并不能為用戶帶來直觀清晰的體驗，對文件的操作也不是很方便，本文中設(shè)計實現(xiàn)了一個基于 CBFS的虛擬文件系統(tǒng)。通過該文件系統(tǒng)將遠端的 HDFS虛擬化為本地Windows文件