基于HDFS的海量小文件讀寫策略研究.pdf

1、當(dāng)前網(wǎng)絡(luò)信息技術(shù)與云計(jì)算技術(shù)迅猛發(fā)展，互聯(lián)網(wǎng)內(nèi)容由網(wǎng)站管理人員主導(dǎo)逐漸過渡為用戶主導(dǎo)，這種變化使得人們可以隨時(shí)隨地通過互聯(lián)網(wǎng)服務(wù)獲取或者生成海量的數(shù)據(jù)，如何有效地管理這些個(gè)人或公共數(shù)據(jù)已成為當(dāng)務(wù)之急。傳統(tǒng)的存儲架構(gòu)在當(dāng)前互聯(lián)網(wǎng)數(shù)據(jù)存儲場景中表現(xiàn)較差，且其擴(kuò)展性差、數(shù)據(jù)安全性低、維護(hù)與管理成本高、災(zāi)備能力差等缺陷日益明顯。將個(gè)人數(shù)據(jù)集中存儲至云服務(wù)中統(tǒng)一管理的分布式云存儲系統(tǒng)受到IT界的廣泛關(guān)注，用戶無需在本地持有大量的存儲空間，只需要通

2、過智能設(shè)備就能夠便捷地獲取到云端數(shù)據(jù)。這種分布式的云存取結(jié)構(gòu)可以很好地解決上述問題，并且滿足大規(guī)模用戶并發(fā)訪問的需求。
　　Hadoop是一個(gè)可部署在廉價(jià)設(shè)備上的分布式開源平臺，其核心之一的HDFS作為一種新型的云存儲平臺，能夠很好地解決爆炸性數(shù)據(jù)的存儲與管理難題。本文主要針對海量小文件讀寫這一場景，對分布式文件系統(tǒng)HDFS進(jìn)行了詳細(xì)分析，并關(guān)于HDFS存在的小文件問題、節(jié)點(diǎn)選擇問題和讀取緩存問題，提出了基于Redis集群的HDF

3、S改進(jìn)方案RCHDFS。
　　首先，從基本系統(tǒng)組成與工作原理方面對GFS、MooseFS、HDFS等典型的分布式存儲系統(tǒng)進(jìn)行研究，分析HDFS系統(tǒng)的主要組件與依賴關(guān)系，深入研究了NameNode、DataNode、DFSClient的工作原理及對應(yīng)源碼實(shí)現(xiàn)。
　　然后，通過對大量中外文獻(xiàn)的分析與相關(guān)技術(shù)的研究，針對HDFS的固有問題，分析了已有的解決方案，隨后提出了改進(jìn)方案，分為3個(gè)部分。一是提出了在DataNode節(jié)點(diǎn)中部

4、署Redis集群服務(wù)的方法，使得Redis服務(wù)可以承擔(dān)大部分NameNode的管理任務(wù)，集群的內(nèi)存使用可以均勻地分布在不同的DataNode節(jié)點(diǎn)上，緩解NameNode的內(nèi)存消耗和NameNode并發(fā)壓力;二是提出了基于節(jié)點(diǎn)處理能力和數(shù)據(jù)塊在節(jié)點(diǎn)中分布均衡性的最優(yōu)讀寫節(jié)點(diǎn)選擇方法，優(yōu)化了HDFS機(jī)架感知策略，既保證了數(shù)據(jù)塊的均衡，又降低了文件讀寫時(shí)延;三是提出了基于混合緩存的中小文件讀取方法，在Redis中緩存熱點(diǎn)小文件，在Client