基于ZooKeeper的分布式框架的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)系統(tǒng)架構(gòu)從傳統(tǒng)的單體結(jié)構(gòu)到SOA架構(gòu)再發(fā)展到如今流行的微服務(wù)，Google、淘寶等互聯(lián)網(wǎng)公司的網(wǎng)站背后都是成百上千個應(yīng)用運行在分布式系統(tǒng)集群服務(wù)器上面。在大規(guī)模分布式環(huán)境下，進程互相協(xié)調(diào)共享資源的分布式同步機制問題是需要解決關(guān)鍵問題之一，而在實際應(yīng)用中，分布式系統(tǒng)配置是分布式同步的一個典型應(yīng)用場景。
　　分布式系統(tǒng)中的每臺機器運行時需要獲取系統(tǒng)配置的參數(shù)，某些特殊應(yīng)用還需要對系統(tǒng)參數(shù)進行動態(tài)配置?；?/p>

2、聯(lián)網(wǎng)+時代，組成分布式集群系統(tǒng)的機器數(shù)量越來越龐大,系統(tǒng)配置的工作量也越來越大。傳統(tǒng)的配置方式有人工的配置方式，基于數(shù)據(jù)庫的配置方式以及批處理命令的配置方式。人工系統(tǒng)配置方式效率低下，影響系統(tǒng)的可用性，而采用數(shù)據(jù)庫和文本的配置方式容易帶來數(shù)據(jù)不一致和單點故障問題。本文針對該問題，研究分布式數(shù)據(jù)同步和數(shù)據(jù)發(fā)布訂閱機制，設(shè)計分布式配置管理系統(tǒng)，提高分布式集群系統(tǒng)的系統(tǒng)配置效率滿足快速配置的要求。主要研究內(nèi)容如下：
　　1）對分布式一致

3、性相關(guān)的算法進行研究，對比分析了2PC兩階段提交協(xié)議，3PC三階段提交協(xié)議，Paxos算法以及ZooKeeper的ZAB協(xié)議。通過研究發(fā)現(xiàn)，ZooKeeper的ZAB協(xié)議能夠很好的保證集群中出現(xiàn)單點故障或通信異常的情況下依然能夠達(dá)到數(shù)據(jù)的一致性。
　　2）對分布式框架ZooKeeper進行深入研究，包括ZooKeeper的數(shù)據(jù)模型，通信協(xié)議，集群機制，會話管理，watch機制和客戶端API。針對分布式系統(tǒng)配置的兩個關(guān)鍵技術(shù)數(shù)據(jù)同步

4、和數(shù)據(jù)訂閱發(fā)布，設(shè)計了一種基于ZooKeeper的分布式互斥鎖和分布式讀寫鎖，以及基于ZooKeeper的分布式數(shù)據(jù)發(fā)布訂閱機制。
　　3）基于設(shè)計的分布式鎖和數(shù)據(jù)發(fā)布訂閱機制，設(shè)計并實現(xiàn)了一個分布式配置管理系統(tǒng)。該系統(tǒng)利用ZooKeeper的高可靠性，將應(yīng)用的配置文件集中存放在ZooKeeper服務(wù)器上，在控制終端對分布式集群的配置文件進行集中化管理。管理員能對配置文件進行實時讀取和修改操作，集群中各個機器上的應(yīng)用能夠自動獲取配