基于ZooKeeper的分布式框架的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)系統(tǒng)架構(gòu)從傳統(tǒng)的單體結(jié)構(gòu)到SOA架構(gòu)再發(fā)展到如今流行的微服務(wù)，Google、淘寶等互聯(lián)網(wǎng)公司的網(wǎng)站背后都是成百上千個(gè)應(yīng)用運(yùn)行在分布式系統(tǒng)集群服務(wù)器上面。在大規(guī)模分布式環(huán)境下，進(jìn)程互相協(xié)調(diào)共享資源的分布式同步機(jī)制問題是需要解決關(guān)鍵問題之一，而在實(shí)際應(yīng)用中，分布式系統(tǒng)配置是分布式同步的一個(gè)典型應(yīng)用場(chǎng)景。
　　分布式系統(tǒng)中的每臺(tái)機(jī)器運(yùn)行時(shí)需要獲取系統(tǒng)配置的參數(shù)，某些特殊應(yīng)用還需要對(duì)系統(tǒng)參數(shù)進(jìn)行動(dòng)態(tài)配置?；?/p>

2、聯(lián)網(wǎng)+時(shí)代，組成分布式集群系統(tǒng)的機(jī)器數(shù)量越來越龐大,系統(tǒng)配置的工作量也越來越大。傳統(tǒng)的配置方式有人工的配置方式，基于數(shù)據(jù)庫的配置方式以及批處理命令的配置方式。人工系統(tǒng)配置方式效率低下，影響系統(tǒng)的可用性，而采用數(shù)據(jù)庫和文本的配置方式容易帶來數(shù)據(jù)不一致和單點(diǎn)故障問題。本文針對(duì)該問題，研究分布式數(shù)據(jù)同步和數(shù)據(jù)發(fā)布訂閱機(jī)制，設(shè)計(jì)分布式配置管理系統(tǒng)，提高分布式集群系統(tǒng)的系統(tǒng)配置效率滿足快速配置的要求。主要研究?jī)?nèi)容如下：
　　1）對(duì)分布式一致

3、性相關(guān)的算法進(jìn)行研究，對(duì)比分析了2PC兩階段提交協(xié)議，3PC三階段提交協(xié)議，Paxos算法以及ZooKeeper的ZAB協(xié)議。通過研究發(fā)現(xiàn)，ZooKeeper的ZAB協(xié)議能夠很好的保證集群中出現(xiàn)單點(diǎn)故障或通信異常的情況下依然能夠達(dá)到數(shù)據(jù)的一致性。
　　2）對(duì)分布式框架ZooKeeper進(jìn)行深入研究，包括ZooKeeper的數(shù)據(jù)模型，通信協(xié)議，集群機(jī)制，會(huì)話管理，watch機(jī)制和客戶端API。針對(duì)分布式系統(tǒng)配置的兩個(gè)關(guān)鍵技術(shù)數(shù)據(jù)同步

4、和數(shù)據(jù)訂閱發(fā)布，設(shè)計(jì)了一種基于ZooKeeper的分布式互斥鎖和分布式讀寫鎖，以及基于ZooKeeper的分布式數(shù)據(jù)發(fā)布訂閱機(jī)制。
　　3）基于設(shè)計(jì)的分布式鎖和數(shù)據(jù)發(fā)布訂閱機(jī)制，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式配置管理系統(tǒng)。該系統(tǒng)利用ZooKeeper的高可靠性，將應(yīng)用的配置文件集中存放在ZooKeeper服務(wù)器上，在控制終端對(duì)分布式集群的配置文件進(jìn)行集中化管理。管理員能對(duì)配置文件進(jìn)行實(shí)時(shí)讀取和修改操作，集群中各個(gè)機(jī)器上的應(yīng)用能夠自動(dòng)獲取配