HDFS分布式元數(shù)據(jù)管理框架的研究與實(shí)現(xiàn).pdf

1、近年來(lái)，云計(jì)算不論是在國(guó)內(nèi)還是在國(guó)外都受到了越來(lái)越多的關(guān)注。而Hadoop則被認(rèn)為是當(dāng)前主流的、使用最廣泛的云計(jì)算開(kāi)源平臺(tái)。作為Hadoop的首選底層存儲(chǔ)系統(tǒng)，HDFS(Hadoop Distributed File System)以其能夠可靠的存儲(chǔ)大規(guī)模數(shù)據(jù)的能力極大的推進(jìn)了Hadoop的發(fā)展。然而，HDFS采用單節(jié)點(diǎn)管理雖然可以降低系統(tǒng)的復(fù)雜度，但是嚴(yán)重影響了系統(tǒng)的可靠性，并限制了系統(tǒng)的擴(kuò)展性。對(duì)于HDFS的“單點(diǎn)”問(wèn)題，不論在社區(qū)

2、還是在企業(yè)都提出了一些解決方案，然而至今沒(méi)有一個(gè)被大家廣泛認(rèn)同的解決方案。
　　本文在仔細(xì)剖析當(dāng)前主流解決方案優(yōu)缺點(diǎn)的前提下，提出了一種HDFS分布式元數(shù)據(jù)管理框架(Distributed meta-data Management Framework，DDM)。通過(guò)使用分布式元數(shù)據(jù)管理框架不僅能夠解決HDFS的“單點(diǎn)”問(wèn)題，還能夠有效提高文件系統(tǒng)的并行性與吞吐量。為了能夠更好的適應(yīng)當(dāng)前的云環(huán)境中大規(guī)模數(shù)據(jù)處理和海量節(jié)點(diǎn)管理的要求，

3、本文設(shè)計(jì)的元數(shù)據(jù)管理框架摒棄了HDFS將命名空間與文件塊元數(shù)據(jù)統(tǒng)一管理的設(shè)計(jì)思路，而采用分層管理的思想，將命名空間的管理與文件塊元數(shù)據(jù)的管理放在不同的層中，提高了HDFS的靈活性與擴(kuò)展性。之后本文給出了HDFS這兩類(lèi)最重要元數(shù)據(jù)的分布算法與調(diào)整策略。在此基礎(chǔ)之上，針對(duì)分布式框架設(shè)計(jì)了相應(yīng)的管理機(jī)制，包括節(jié)點(diǎn)的加入與退出，副本的管理與恢復(fù)以及元數(shù)據(jù)的同步與遷移等，并針對(duì)HDFS設(shè)計(jì)上的一些不足做出了改進(jìn)，以保證分布式元數(shù)據(jù)管理框架的正確性

4、，高效性和可用性。在分析HDFS關(guān)鍵代碼的基礎(chǔ)上，分布式元數(shù)據(jù)管理框架最大程度的利用了HDFS已有的代碼和機(jī)制，并對(duì)部分代碼進(jìn)行重構(gòu)以提高其可讀性、合理性并降低分布式管理框架的耦合性。
　　最后，通過(guò)實(shí)驗(yàn)測(cè)試了DMM對(duì)HDFS讀寫(xiě)性能，啟動(dòng)性能以及并行性的影響，并測(cè)試了分布式元數(shù)據(jù)管理框架的可用性與擴(kuò)展性。實(shí)驗(yàn)結(jié)果表明，分布式元數(shù)據(jù)管理框架雖然在讀寫(xiě)性能和啟動(dòng)性能上略遜于HDFS，但是在并行性、可用性與擴(kuò)展性上都優(yōu)于HDFS，能更