私有云環(huán)境下的容災系統(tǒng)中一致性算法的應用研究.pdf

1、云計算的發(fā)展為大數(shù)據(jù)處理提供了新的思路,但云環(huán)境的應用成本也給中小型企業(yè)帶來了很大的負擔。于是開源分布式框架Hadoop成為首選,該框架由兩個主要部分構(gòu)成:HDFS和MapReduce。其中HDFS是一個單中心結(jié)點的分布式文件系統(tǒng)。為了降低因為單點故障而帶來的損失,各個公司都有自己的HDFS HA方案,雖然實施方案不同但它們的核心思想都是采用備機方案。這些方案雖然可以減少HDFS發(fā)生單點失效時的損失,但耗時長,同時存在數(shù)據(jù)丟失的可能。本

2、文在雙機熱備的基礎(chǔ)上提出了一種新的容災系統(tǒng),解決了存在的單點問題,同時通過一致性算法保證了數(shù)據(jù)的完整性,彌補了采用備機方案造成數(shù)據(jù)丟失的不足。具體而言,論文的主要工作如下:
　　(1)介紹云計算的相關(guān)概念、特性和實現(xiàn)方案等,同時詳細介紹了開源的分布式系統(tǒng)框架Hadoop和其基本組成部分:HDFS和MapReduce。
　　(2)研究了幾種當前流行的 HDFS高可用性方案,這些方案中分熱備和冷備兩種。結(jié)合中心服務器Nameno

3、de在HDFS中的地位與作用,提出了新的雙機熱備、三機協(xié)同的HDFS架構(gòu)。
　　(3)通過對一致性算法Paxos進行研究分析,設(shè)計出適用于三機架構(gòu)的 Paxos算法;并且根據(jù)該算法設(shè)計出了三機數(shù)據(jù)同步框架。這樣保證即使出現(xiàn)結(jié)點失效的情況,系統(tǒng)依然可以有效的對外提供讀寫訪問服務。
　　`(4)通過對 HDFS源碼進行研究、剖析,修改了其中部分的代碼結(jié)構(gòu),滿足同步框架規(guī)范,實現(xiàn)了雙中心結(jié)點架構(gòu),保證了對外服務。
　　(5)