基于HDFS的小文件存儲(chǔ)關(guān)鍵技術(shù)研究.pdf

1、云存儲(chǔ)系統(tǒng)為存儲(chǔ)大規(guī)模數(shù)據(jù)應(yīng)運(yùn)而生，其底層采用分布式文件系統(tǒng)作為存儲(chǔ)平臺(tái)。HDFS(Hadoop Distributed File Sysytem)是開源的云計(jì)算平臺(tái)Hadoop提出的分布式文件系統(tǒng)，其設(shè)計(jì)簡(jiǎn)單，應(yīng)用廣泛。但是HDFS的設(shè)計(jì)初衷是為了處理大文件的，而目前隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了越來越多的小文件需要處理，這給HDFS帶來了挑戰(zhàn)。
　　HDFS采用單一的元數(shù)據(jù)節(jié)點(diǎn)NameNode來管理整個(gè)系統(tǒng)的元數(shù)據(jù)信息，并且為了提高

2、訪問效率，將元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，但是當(dāng)系統(tǒng)中存儲(chǔ)著大量小文件時(shí)，會(huì)產(chǎn)生非常多的元數(shù)據(jù)，占用較大的NameNode內(nèi)存，使其工作性能受到影響。此外，大量的小文件訪問，需要頻繁向NameNode發(fā)送請(qǐng)求，造成NameNode節(jié)點(diǎn)超負(fù)荷工作，成為系統(tǒng)整體性能的一個(gè)瓶頸。為了解決這個(gè)問題，使HDFS能適應(yīng)小文件的存儲(chǔ)，本文進(jìn)行了相關(guān)研究，主要包括:
　　對(duì)HDFS的系統(tǒng)架構(gòu)設(shè)計(jì)和工作原理進(jìn)行了深入了解。
　　本文提出一種基于合并策略

3、的HDFS小文件存儲(chǔ)解決方案，并給出改進(jìn)的系統(tǒng)架構(gòu)。新的方案將小文件合并成為大文件進(jìn)行存儲(chǔ)，并創(chuàng)建相應(yīng)的索引，在文件讀取時(shí)，設(shè)計(jì)恰當(dāng)?shù)臄?shù)據(jù)預(yù)取和緩存策略，提高訪問效率。
　　此外，為了進(jìn)一步提高小文件合并之后的查找訪問效率，本文將小文件進(jìn)行分類標(biāo)記，并按文件大小分別合并，并在NameNode端存放小文件標(biāo)簽的哈希索引和大文件塊的B+樹索引以及不同尺寸小文件相應(yīng)的塊內(nèi)索引。然后，還設(shè)計(jì)了三級(jí)緩存策略，利用緩存來減少小文件訪問時(shí)請(qǐng)求N