基于HDFS的分布式存儲系統(tǒng)的研究與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，傳統(tǒng)的技術(shù)已經(jīng)無法滿足日益增長的存儲需求，分布式存儲技術(shù)應運而生。HDFS是Apache開發(fā)的云計算平臺Hadoop的分布式存儲系統(tǒng)，可以運行在大規(guī)模廉價的服務器集群上，具有較高的容錯能力，針對超大數(shù)據(jù)集的處理進行了優(yōu)化，具有較高的數(shù)據(jù)吞吐量。然而，HDFS的設(shè)計也不是完美的，存在著一些缺陷。本文研究了HDFS分布式存儲模型，針對HDFS可擴展性差和寫延遲高的缺點，對其進行改進，主要工作和研究成果如下：
　　

2、(1)一種動態(tài)負載均衡的分布式 NameNode策略。HDFS設(shè)計了單節(jié)點的元數(shù)據(jù)服務器(NameNode)來管理元數(shù)據(jù)，這種設(shè)計雖然實現(xiàn)起來簡單高效但是存在三個缺點：系統(tǒng)的可擴展性差、元數(shù)據(jù)可用性差和隔離性差。針對這個問題，現(xiàn)有的HDFS Federation策略和NCUC策略均存在著單點故障和沒有動態(tài)負載均衡的缺陷。本文提出了一種動態(tài)負載均衡的分布式NameNode策略來解決這個問題。在本文提出的策略中，元數(shù)據(jù)通過多副本的形式存放在

3、NameNode集群中，元數(shù)據(jù)分布的時候考慮到異構(gòu)服務器之間的性能差異和當前的負載情況，當NameNode之間的負載動態(tài)變化時啟動動態(tài)負載均衡策略，在客戶端使用元數(shù)據(jù)緩存策略來降低元數(shù)據(jù)訪問時間，當NameNode出現(xiàn)故障或者元數(shù)據(jù)副本丟失的時候啟動元數(shù)據(jù)自動恢復。
　　(2)一種延遲的自適應副本同步策略。HDFS使用簡單的強一致性策略進行副本之間的同步，這種設(shè)計雖然保證了多副本之間始終處于一致性的狀態(tài)，但是導致寫文件延遲高和寫吞

4、吐率低的缺點，使得HDFS不適合有一定交互性等對于寫性能要求高的場景。針對這個問題，現(xiàn)有的一些解決方案也存在著一些缺點：動態(tài)副本同步策略需要NameNode參與副本同步，而Quorum策略的讀性能相對較差。本文提出了一種延遲的自適應副本同步策略來解決這個問題：在寫操作執(zhí)行的時候，選擇部分副本執(zhí)行副本同步，對其余的副本進行延遲的自適應副本同步，提高了寫性能；通過使用BlockList結(jié)構(gòu)，不需要NameNode參與副本同步，并且相較于Qu