面向海量小文件存取的HDFS優(yōu)化研究.pdf

1、Hadoop是近幾年發(fā)展比較成熟的云計(jì)算平臺(tái)之一，憑借其可靠，高效，可伸縮的特性在互聯(lián)網(wǎng)領(lǐng)域得到了廣泛應(yīng)用，比如 Yahoo、Amazon、Facebook等公司成功地應(yīng)用了Hadoop，同時(shí)也得到了學(xué)術(shù)界的普遍關(guān)注。HDFS作為Hadoop的分布式文件系統(tǒng)有著高可用的特性，但它是為大文件的存儲(chǔ)與計(jì)算而設(shè)計(jì)，卻忽略了對(duì)小文件處理的優(yōu)化，當(dāng)大量的小文件存儲(chǔ)到HDFS中就會(huì)產(chǎn)生大量的元數(shù)據(jù)，因而占用NameNode大量的內(nèi)存。而對(duì)海量小文件

2、高并發(fā)的訪問使得HDFS的NameNode和DataNode都負(fù)載過大。這使得HDFS不適合存儲(chǔ)小文件。
　　針對(duì)HDFS在小文件處理的不足，本文提出了一個(gè)基于HDFS的中間件HMFS來解決HDFS的小文件問題。它由用戶接口層、任務(wù)層和存儲(chǔ)層組成。能夠很好的實(shí)現(xiàn)對(duì)小文件的上傳、下載、修改、刪除操作。并且它所有的任務(wù)都在后臺(tái)運(yùn)行，通過讀寫分離機(jī)制大大地提高文件的上傳效率，通過緩存預(yù)取機(jī)制提高了文件的下載效率。
　　在小文件合并

3、的優(yōu)化方面，本文提出了SmartFS。SmartFS通過分析小文件訪問日志，獲取用戶訪問行為，建立文件關(guān)聯(lián)概率模型，并根據(jù)基于文件關(guān)聯(lián)關(guān)系的合并算法將小文件組裝成大文件后存至HDFS；當(dāng)從HDFS獲取文件時(shí)，根據(jù)基于文件關(guān)聯(lián)關(guān)系的預(yù)取算法來提高文件訪問效率，同時(shí)采用基于預(yù)取的緩存替換算法Prefetching-LFU來管理緩存空間，提高文件的命中率。
　　最后，本文將HMFS與SmartFS的優(yōu)點(diǎn)相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于HDFS

4、的通用高效的小文件系統(tǒng)，該系統(tǒng)使用 HMFS進(jìn)行在線的文件處理，如文件上傳、下載、更新及刪除。并使用SmartFS來分析歷史的訪問日志得到文件關(guān)聯(lián)，再將相關(guān)聯(lián)的文件重新合并上傳到 HDFS中。在預(yù)取與緩存策略上，它結(jié)合HMFS與SmartFS兩種情況進(jìn)行預(yù)取與緩存，保證了各種情況的高效運(yùn)行。
　　實(shí)驗(yàn)表明該系統(tǒng)的上傳，下載速度相對(duì)HDFS有極大的提升，且減少了HDFS元數(shù)據(jù)量，使得 HDFS能夠支持海量的小文件處理，并且它能將相關(guān)