基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)是當(dāng)前計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)問(wèn)題之一。企業(yè)通過(guò)大數(shù)據(jù)分析消費(fèi)者行為，部門(mén)銷(xiāo)售數(shù)據(jù)等指標(biāo)，能得出對(duì)企業(yè)增加市場(chǎng)競(jìng)爭(zhēng)力產(chǎn)生重要作用的情報(bào)數(shù)據(jù)。隨著大數(shù)據(jù)對(duì)企業(yè)發(fā)展帶來(lái)積極的影響，越來(lái)越多的企業(yè)將利用大數(shù)據(jù)，以及尋求適用于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)解決方案。HDFS是一個(gè)開(kāi)源的分布式文件系統(tǒng)，因其較低的成本，良好的可靠性等特點(diǎn)而成為企業(yè)與科研院所首選的海量數(shù)據(jù)存儲(chǔ)解決方案。HDFS適用于采用流式數(shù)據(jù)訪問(wèn)和存儲(chǔ)超大文件，在存儲(chǔ)大數(shù)據(jù)研究過(guò)程中產(chǎn)生的海

2、量小文件時(shí)，則表現(xiàn)出存儲(chǔ)空間不足，讀寫(xiě)效率低下等問(wèn)題。如何使HDFS高效存儲(chǔ)小文件，是一個(gè)十分有意義的研究方向。
　　針對(duì)HDFS在存儲(chǔ)小文件時(shí)表現(xiàn)出的效率低下等問(wèn)題，本文從磁盤(pán)、網(wǎng)絡(luò)通信和元數(shù)據(jù)等因素詳細(xì)分析小文件問(wèn)題產(chǎn)生原因，并提出包含管理節(jié)點(diǎn)與工作節(jié)點(diǎn)的小文件存儲(chǔ)模型以優(yōu)化HDFS上的小文件問(wèn)題。
　　論文主要工作如下：
　　(1)提出小文件存儲(chǔ)模型架構(gòu)。存儲(chǔ)模型是一個(gè)基于HDFS的應(yīng)用。它通過(guò)采用小文件優(yōu)化存儲(chǔ)

3、策略，代替HDFS處理客戶端的讀寫(xiě)小文件請(qǐng)求，達(dá)到優(yōu)化小文件存儲(chǔ)的目的。
　　(2)小文件合并存儲(chǔ)。即多個(gè)客戶端上傳的小文件共同保存在一個(gè)HDFS文件中，該方法能有效減少HDFS中系統(tǒng)元數(shù)據(jù)的數(shù)目，并降低HDFS讀取小文件數(shù)據(jù)的磁盤(pán)尋道時(shí)間。
　　(3)小文件索引管理。索引管理主要包括:創(chuàng)建、序列化與反序列化小文件索引。每個(gè)工作節(jié)點(diǎn)在內(nèi)存中保存與其相關(guān)的小文件集合的索引信息。通過(guò)查詢索引表實(shí)現(xiàn)工作節(jié)點(diǎn)快速定位小文件數(shù)據(jù)在HD