基于HDFS的分布式存儲系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，傳統(tǒng)的技術(shù)已經(jīng)無法滿足日益增長的存儲需求，分布式存儲技術(shù)應(yīng)運(yùn)而生。HDFS是Apache開發(fā)的云計算平臺Hadoop的分布式存儲系統(tǒng)，可以運(yùn)行在大規(guī)模廉價的服務(wù)器集群上，具有較高的容錯能力，針對超大數(shù)據(jù)集的處理進(jìn)行了優(yōu)化，具有較高的數(shù)據(jù)吞吐量。然而，HDFS的設(shè)計也不是完美的，存在著一些缺陷。本文研究了HDFS分布式存儲模型，針對HDFS可擴(kuò)展性差和寫延遲高的缺點(diǎn)，對其進(jìn)行改進(jìn)，主要工作和研究成果如下：
　　

2、(1)一種動態(tài)負(fù)載均衡的分布式 NameNode策略。HDFS設(shè)計了單節(jié)點(diǎn)的元數(shù)據(jù)服務(wù)器(NameNode)來管理元數(shù)據(jù)，這種設(shè)計雖然實(shí)現(xiàn)起來簡單高效但是存在三個缺點(diǎn)：系統(tǒng)的可擴(kuò)展性差、元數(shù)據(jù)可用性差和隔離性差。針對這個問題，現(xiàn)有的HDFS Federation策略和NCUC策略均存在著單點(diǎn)故障和沒有動態(tài)負(fù)載均衡的缺陷。本文提出了一種動態(tài)負(fù)載均衡的分布式NameNode策略來解決這個問題。在本文提出的策略中，元數(shù)據(jù)通過多副本的形式存放在

3、NameNode集群中，元數(shù)據(jù)分布的時候考慮到異構(gòu)服務(wù)器之間的性能差異和當(dāng)前的負(fù)載情況，當(dāng)NameNode之間的負(fù)載動態(tài)變化時啟動動態(tài)負(fù)載均衡策略，在客戶端使用元數(shù)據(jù)緩存策略來降低元數(shù)據(jù)訪問時間，當(dāng)NameNode出現(xiàn)故障或者元數(shù)據(jù)副本丟失的時候啟動元數(shù)據(jù)自動恢復(fù)。
　　(2)一種延遲的自適應(yīng)副本同步策略。HDFS使用簡單的強(qiáng)一致性策略進(jìn)行副本之間的同步，這種設(shè)計雖然保證了多副本之間始終處于一致性的狀態(tài)，但是導(dǎo)致寫文件延遲高和寫吞

4、吐率低的缺點(diǎn)，使得HDFS不適合有一定交互性等對于寫性能要求高的場景。針對這個問題，現(xiàn)有的一些解決方案也存在著一些缺點(diǎn)：動態(tài)副本同步策略需要NameNode參與副本同步，而Quorum策略的讀性能相對較差。本文提出了一種延遲的自適應(yīng)副本同步策略來解決這個問題：在寫操作執(zhí)行的時候，選擇部分副本執(zhí)行副本同步，對其余的副本進(jìn)行延遲的自適應(yīng)副本同步，提高了寫性能；通過使用BlockList結(jié)構(gòu)，不需要NameNode參與副本同步，并且相較于Qu