基于HDFS的小文件存儲模型研究與實現(xiàn).pdf

1、大數(shù)據(jù)是當前計算機領(lǐng)域研究的熱點問題之一。企業(yè)通過大數(shù)據(jù)分析消費者行為，部門銷售數(shù)據(jù)等指標，能得出對企業(yè)增加市場競爭力產(chǎn)生重要作用的情報數(shù)據(jù)。隨著大數(shù)據(jù)對企業(yè)發(fā)展帶來積極的影響，越來越多的企業(yè)將利用大數(shù)據(jù)，以及尋求適用于大數(shù)據(jù)的數(shù)據(jù)存儲解決方案。HDFS是一個開源的分布式文件系統(tǒng)，因其較低的成本，良好的可靠性等特點而成為企業(yè)與科研院所首選的海量數(shù)據(jù)存儲解決方案。HDFS適用于采用流式數(shù)據(jù)訪問和存儲超大文件，在存儲大數(shù)據(jù)研究過程中產(chǎn)生的海

2、量小文件時，則表現(xiàn)出存儲空間不足，讀寫效率低下等問題。如何使HDFS高效存儲小文件，是一個十分有意義的研究方向。
　　針對HDFS在存儲小文件時表現(xiàn)出的效率低下等問題，本文從磁盤、網(wǎng)絡(luò)通信和元數(shù)據(jù)等因素詳細分析小文件問題產(chǎn)生原因，并提出包含管理節(jié)點與工作節(jié)點的小文件存儲模型以優(yōu)化HDFS上的小文件問題。
　　論文主要工作如下：
　　(1)提出小文件存儲模型架構(gòu)。存儲模型是一個基于HDFS的應(yīng)用。它通過采用小文件優(yōu)化存儲

3、策略，代替HDFS處理客戶端的讀寫小文件請求，達到優(yōu)化小文件存儲的目的。
　　(2)小文件合并存儲。即多個客戶端上傳的小文件共同保存在一個HDFS文件中，該方法能有效減少HDFS中系統(tǒng)元數(shù)據(jù)的數(shù)目，并降低HDFS讀取小文件數(shù)據(jù)的磁盤尋道時間。
　　(3)小文件索引管理。索引管理主要包括:創(chuàng)建、序列化與反序列化小文件索引。每個工作節(jié)點在內(nèi)存中保存與其相關(guān)的小文件集合的索引信息。通過查詢索引表實現(xiàn)工作節(jié)點快速定位小文件數(shù)據(jù)在HD