Hadoop分布式文件系統(tǒng)(HDFS)可靠性的研究與優(yōu)化.pdf

1、隨著云計(jì)算和云存儲(chǔ)逐漸被業(yè)界所接受，越來越多的企業(yè)和研究機(jī)構(gòu)都開始使用Hadoop 來開發(fā)各自的云存儲(chǔ)架構(gòu)體系，主要包括Yahoo！，F(xiàn)acebook和IBM等。
　　 由于Hadoop處理過程主要是通過Hadoop分布式文件系統(tǒng)(HDFS)來實(shí)現(xiàn)的，因此對(duì)HDFS的研究成為很多公司來架構(gòu)各自云存儲(chǔ)和云計(jì)算系統(tǒng)的基礎(chǔ)。
　　 因此，針對(duì)HDFS的處理過程以及其自身的數(shù)據(jù)備份機(jī)制進(jìn)行了詳細(xì)的研究。
　　 雖然，HD

2、FS自身具有很好的數(shù)據(jù)備份機(jī)制，可用于提高數(shù)據(jù)的安全性和可用性。但是，由于只有一個(gè)元數(shù)據(jù)服務(wù)器結(jié)點(diǎn)NameNode，這就造成了系統(tǒng)的單點(diǎn)失效問題。
　　 通過實(shí)現(xiàn)一種基于Paxos 一致性算法的分布式系統(tǒng)來解決元數(shù)據(jù)服務(wù)器的單點(diǎn)失效問題，并設(shè)計(jì)了一種選舉機(jī)制來提高系統(tǒng)的安全和性能。在設(shè)計(jì)了選舉機(jī)制以后，系統(tǒng)中所有的元數(shù)據(jù)服務(wù)器分為L(zhǎng)eader和Follower兩種角色。其中，一臺(tái)元數(shù)據(jù)服務(wù)器作為L(zhǎng)eader，其它的作為Follo

3、wer 來工作。Leader 需要通過選舉機(jī)制選出，作為系統(tǒng)中特定的acceptor和learner來工作，用于協(xié)調(diào)和同步所有元數(shù)據(jù)服務(wù)器的工作。對(duì)有N 臺(tái)元數(shù)據(jù)服務(wù)器的系統(tǒng)來說，可以實(shí)現(xiàn)最多(N-1)/2臺(tái)元數(shù)據(jù)服務(wù)器的失效，很適合用于大規(guī)模的系統(tǒng)中。
　　 通過測(cè)試結(jié)果可知，只要系統(tǒng)中有N/2+1臺(tái)元數(shù)據(jù)服務(wù)器能夠正常工作，系統(tǒng)就可以持續(xù)地工作。并且，F(xiàn)ollower 失效對(duì)系統(tǒng)的性能影響不大，主要是在恢復(fù)的時(shí)候需要與Lea