基于HDFS的海量小文件讀寫(xiě)策略研究.pdf

1、當(dāng)前網(wǎng)絡(luò)信息技術(shù)與云計(jì)算技術(shù)迅猛發(fā)展，互聯(lián)網(wǎng)內(nèi)容由網(wǎng)站管理人員主導(dǎo)逐漸過(guò)渡為用戶(hù)主導(dǎo)，這種變化使得人們可以隨時(shí)隨地通過(guò)互聯(lián)網(wǎng)服務(wù)獲取或者生成海量的數(shù)據(jù)，如何有效地管理這些個(gè)人或公共數(shù)據(jù)已成為當(dāng)務(wù)之急。傳統(tǒng)的存儲(chǔ)架構(gòu)在當(dāng)前互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)場(chǎng)景中表現(xiàn)較差，且其擴(kuò)展性差、數(shù)據(jù)安全性低、維護(hù)與管理成本高、災(zāi)備能力差等缺陷日益明顯。將個(gè)人數(shù)據(jù)集中存儲(chǔ)至云服務(wù)中統(tǒng)一管理的分布式云存儲(chǔ)系統(tǒng)受到IT界的廣泛關(guān)注，用戶(hù)無(wú)需在本地持有大量的存儲(chǔ)空間，只需要通

2、過(guò)智能設(shè)備就能夠便捷地獲取到云端數(shù)據(jù)。這種分布式的云存取結(jié)構(gòu)可以很好地解決上述問(wèn)題，并且滿(mǎn)足大規(guī)模用戶(hù)并發(fā)訪問(wèn)的需求。
　　Hadoop是一個(gè)可部署在廉價(jià)設(shè)備上的分布式開(kāi)源平臺(tái)，其核心之一的HDFS作為一種新型的云存儲(chǔ)平臺(tái)，能夠很好地解決爆炸性數(shù)據(jù)的存儲(chǔ)與管理難題。本文主要針對(duì)海量小文件讀寫(xiě)這一場(chǎng)景，對(duì)分布式文件系統(tǒng)HDFS進(jìn)行了詳細(xì)分析，并關(guān)于HDFS存在的小文件問(wèn)題、節(jié)點(diǎn)選擇問(wèn)題和讀取緩存問(wèn)題，提出了基于Redis集群的HDF

3、S改進(jìn)方案RCHDFS。
　　首先，從基本系統(tǒng)組成與工作原理方面對(duì)GFS、MooseFS、HDFS等典型的分布式存儲(chǔ)系統(tǒng)進(jìn)行研究，分析HDFS系統(tǒng)的主要組件與依賴(lài)關(guān)系，深入研究了NameNode、DataNode、DFSClient的工作原理及對(duì)應(yīng)源碼實(shí)現(xiàn)。
　　然后，通過(guò)對(duì)大量中外文獻(xiàn)的分析與相關(guān)技術(shù)的研究，針對(duì)HDFS的固有問(wèn)題，分析了已有的解決方案，隨后提出了改進(jìn)方案，分為3個(gè)部分。一是提出了在DataNode節(jié)點(diǎn)中部

4、署Redis集群服務(wù)的方法，使得Redis服務(wù)可以承擔(dān)大部分NameNode的管理任務(wù)，集群的內(nèi)存使用可以均勻地分布在不同的DataNode節(jié)點(diǎn)上，緩解NameNode的內(nèi)存消耗和NameNode并發(fā)壓力;二是提出了基于節(jié)點(diǎn)處理能力和數(shù)據(jù)塊在節(jié)點(diǎn)中分布均衡性的最優(yōu)讀寫(xiě)節(jié)點(diǎn)選擇方法，優(yōu)化了HDFS機(jī)架感知策略，既保證了數(shù)據(jù)塊的均衡，又降低了文件讀寫(xiě)時(shí)延;三是提出了基于混合緩存的中小文件讀取方法，在Redis中緩存熱點(diǎn)小文件，在Client