分布式服務(wù)框架_zookeeper_--_管理分布式環(huán)境中的數(shù)據(jù)

1、<p><b>　　安裝和配置詳解</b></p><p>　　本文介紹的 Zookeeper 是以 3.2.2 這個穩(wěn)定版本為基礎(chǔ)，最新的版本可以通過官網(wǎng) http://hadoop.apache.org/zookeeper/來獲取，Zookeeper 的安裝非常簡單，下面將從單機模式和集群模式兩個方面介紹 Zookeeper 的安裝和配置。</p>&l

2、t;p><b>　　單機模式</b></p><p>　　單機安裝非常簡單，只要獲取到 Zookeeper 的壓縮包并解壓到某個目錄如：/home/zookeeper-3.2.2 下，Zookeeper 的啟動腳本在 bin 目錄下，Linux 下的啟動腳本是 zkServer.sh，在 3.2.2 這個版本 Zookeeper 沒有提供 windows 下的啟動腳本，所以要想在 wi

3、ndows 下啟動 Zookeeper 要自己手工寫一個，如清單 1 所示：</p><p>　　清單 1. Windows 下 Zookeeper 啟動腳本</p><p>　　在你執(zhí)行啟動腳本之前，還有幾個基本的配置項需要配置一下，Zookeeper 的配置文件在 conf 目錄下，這個目錄下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是將 zo

4、o_sample.cfg 改名為 zoo.cfg，因為 Zookeeper 在啟動時會找這個文件作為默認(rèn)配置文件。下面詳細(xì)介紹一下，這個配置文件中各個配置項的意義。</p><p>　　tickTime：這個時間是作為 Zookeeper 服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時間間隔，也就是每個 tickTime 時間就會發(fā)送一個心跳。</p><p>　　dataDir：顧名思義就是

5、 Zookeeper 保存數(shù)據(jù)的目錄，默認(rèn)情況下，Zookeeper 將寫數(shù)據(jù)的日志文件也保存在這個目錄里。</p><p>　　clientPort：這個端口就是客戶端連接 Zookeeper 服務(wù)器的端口，Zookeeper 會監(jiān)聽這個端口，接受客戶端的訪問請求。</p><p>　　當(dāng)這些配置項配置好后，你現(xiàn)在就可以啟動 Zookeeper 了，啟動后要檢查 Zookeeper 是否

6、已經(jīng)在服務(wù)，可以通過 netstat – ano 命令查看是否有你配置的 clientPort 端口號在監(jiān)聽服務(wù)。</p><p><b>　　集群模式</b></p><p>　　Zookeeper 不僅可以單機提供服務(wù)，同時也支持多機組成集群來提供服務(wù)。實際上 Zookeeper 還支持另外一種偽集群的方式，也就是可以在一臺物理機上運行多個 Zookeeper 實

7、例，下面將介紹集群模式的安裝和配置。</p><p>　　Zookeeper 的集群模式的安裝和配置也不是很復(fù)雜，所要做的就是增加幾個配置項。集群模式除了上面的三個配置項還要增加下面幾個配置項：</p><p>　　initLimit：這個配置項是用來配置 Zookeeper 接受客戶端（這里所說的客戶端不是用戶連接 Zookeeper 服務(wù)器的客戶端，而是 Zookeeper 服務(wù)器集群

8、中連接到 Leader 的 Follower 服務(wù)器）初始化連接時最長能忍受多少個心跳時間間隔數(shù)。當(dāng)已經(jīng)超過 10 個心跳的時間（也就是 tickTime）長度后 Zookeeper 服務(wù)器還沒有收到客戶端的返回信息，那么表明這個客戶端連接失敗?？偟臅r間長度就是 5*2000=10 秒</p><p>　　syncLimit：這個配置項標(biāo)識 Leader 與 Follower 之間發(fā)送消息，請求和應(yīng)答時間長度，最

9、長不能超過多少個 tickTime 的時間長度，總的時間長度就是 2*2000=4 秒</p><p>　　server.A=B：C：D：其中 A 是一個數(shù)字，表示這個是第幾號服務(wù)器；B 是這個服務(wù)器的 ip 地址；C 表示的是這個服務(wù)器與集群中的 Leader 服務(wù)器交換信息的端口；D 表示的是萬一集群中的 Leader 服務(wù)器掛了，需要一個端口來重新進行選舉，選出一個新的 Leader，而這個端口就是用來執(zhí)行

10、選舉時服務(wù)器相互通信的端口。如果是偽集群的配置方式，由于 B 都是一樣，所以不同的 Zookeeper 實例通信端口號不能一樣，所以要給它們分配不同的端口號。</p><p>　　除了修改 zoo.cfg 配置文件，集群模式下還要配置一個文件 myid，這個文件在 dataDir 目錄下，這個文件里面就有一個數(shù)據(jù)就是 A 的值，Zookeeper 啟動時會讀取這個文件，拿到里面的數(shù)據(jù)與 zoo.cfg 里面的配置

11、信息比較從而判斷到底是那個 server。</p><p><b>　　數(shù)據(jù)模型</b></p><p>　　Zookeeper 會維護一個具有層次關(guān)系的數(shù)據(jù)結(jié)構(gòu)，它非常類似于一個標(biāo)準(zhǔn)的文件系統(tǒng)，如圖 1 所示：</p><p>　　圖 1 Zookeeper 數(shù)據(jù)結(jié)構(gòu) </p><p>　　Zookeepe

12、r 這種數(shù)據(jù)結(jié)構(gòu)有如下這些特點：</p><p>　　每個子目錄項如 NameService 都被稱作為 znode，這個 znode 是被它所在的路徑唯一標(biāo)識，如 Server1 這個 znode 的標(biāo)識為 /NameService/Server1</p><p>　　znode 可以有子節(jié)點目錄，并且每個 znode 可以存儲數(shù)據(jù)，注意 EPHEMERAL 類型的目錄節(jié)點不能有子節(jié)點目

13、錄</p><p>　　znode 是有版本的，每個 znode 中存儲的數(shù)據(jù)可以有多個版本，也就是一個訪問路徑中可以存儲多份數(shù)據(jù)</p><p>　　znode 可以是臨時節(jié)點，一旦創(chuàng)建這個 znode 的客戶端與服務(wù)器失去聯(lián)系，這個 znode 也將自動刪除，Zookeeper 的客戶端和服務(wù)器通信采用長連接方式，每個客戶端和服務(wù)器通過心跳來保持連接，這個連接狀態(tài)稱為 session，

14、如果 znode 是臨時節(jié)點，這個 session 失效，znode 也就刪除了</p><p>　　znode 的目錄名可以自動編號，如 App1 已經(jīng)存在，再創(chuàng)建的話，將會自動命名為 App2</p><p>　　znode 可以被監(jiān)控，包括這個目錄節(jié)點中存儲的數(shù)據(jù)的修改，子節(jié)點目錄的變化等，一旦變化可以通知設(shè)置監(jiān)控的客戶端，這個是 Zookeeper 的核心特性，Zookeeper

15、的很多功能都是基于這個特性實現(xiàn)的，后面在典型的應(yīng)用場景中會有實例介紹</p><p><b>　　如何使用</b></p><p>　　Zookeeper 作為一個分布式的服務(wù)框架，主要用來解決分布式集群中應(yīng)用系統(tǒng)的一致性問題，它能提供基于類似于文件系統(tǒng)的目錄節(jié)點樹方式的數(shù)據(jù)存儲，但是 Zookeeper 并不是用來專門存儲數(shù)據(jù)的，它的作用主要是用來維護和監(jiān)控你存儲的

16、數(shù)據(jù)的狀態(tài)變化。通過監(jiān)控這些數(shù)據(jù)狀態(tài)的變化，從而可以達到基于數(shù)據(jù)的集群管理，后面將會詳細(xì)介紹 Zookeeper 能夠解決的一些典型問題，這里先介紹一下，Zookeeper 的操作接口和簡單使用示例。</p><p><b>　　常用接口列表</b></p><p>　　客戶端要連接 Zookeeper 服務(wù)器可以通過創(chuàng)建 org.apache.zookeeper.

17、ZooKeeper 的一個實例對象，然后調(diào)用這個類提供的接口來和服務(wù)器交互。</p><p>　　前面說了 ZooKeeper 主要是用來維護和監(jiān)控一個目錄節(jié)點樹中存儲的數(shù)據(jù)的狀態(tài)，所有我們能夠操作 ZooKeeper 的也和操作目錄節(jié)點樹大體一樣，如創(chuàng)建一個目錄節(jié)點，給某個目錄節(jié)點設(shè)置數(shù)據(jù)，獲取某個目錄節(jié)點的所有子目錄節(jié)點，給某個目錄節(jié)點設(shè)置權(quán)限和監(jiān)控這個目錄節(jié)點的狀態(tài)變化。</p><p&

18、gt;　　這些接口如下表所示：</p><p>　　表 1 org.apache.zookeeper. ZooKeeper 方法列表</p><p>　　除了以上這些上表中列出的方法之外還有一些重載方法，如都提供了一個回調(diào)類的重載方法以及可以設(shè)置特定 Watcher 的重載方法，具體的方法可以參考 org.apache.zookeeper. ZooKeeper 類的 API 說明。<

19、/p><p><b>　　基本操作</b></p><p>　　下面給出基本的操作 ZooKeeper 的示例代碼，這樣你就能對 ZooKeeper 有直觀的認(rèn)識了。下面的清單包括了創(chuàng)建與 ZooKeeper 服務(wù)器的連接以及最基本的數(shù)據(jù)操作：</p><p>　　清單 2. ZooKeeper 基本的操作示例</p><p&g

20、t;<b>　　輸出的結(jié)果如下：</b></p><p>　　當(dāng)對目錄節(jié)點監(jiān)控狀態(tài)打開時，一旦目錄節(jié)點的狀態(tài)發(fā)生變化，Watcher 對象的 process 方法就會被調(diào)用。</p><p>　　ZooKeeper 典型的應(yīng)用場景</p><p>　　Zookeeper 從設(shè)計模式角度來看，是一個基于觀察者模式設(shè)計的分布式服務(wù)管理框架，它負(fù)責(zé)存

21、儲和管理大家都關(guān)心的數(shù)據(jù)，然后接受觀察者的注冊，一旦這些數(shù)據(jù)的狀態(tài)發(fā)生變化，Zookeeper 就將負(fù)責(zé)通知已經(jīng)在 Zookeeper 上注冊的那些觀察者做出相應(yīng)的反應(yīng)，從而實現(xiàn)集群中類似 Master/Slave 管理模式，關(guān)于 Zookeeper 的詳細(xì)架構(gòu)等內(nèi)部細(xì)節(jié)可以閱讀 Zookeeper 的源碼</p><p>　　下面詳細(xì)介紹這些典型的應(yīng)用場景，也就是 Zookeeper 到底能幫我們解決那些問題？

22、下面將給出答案。</p><p>　　統(tǒng)一命名服務(wù)（Name Service）</p><p>　　分布式應(yīng)用中，通常需要有一套完整的命名規(guī)則，既能夠產(chǎn)生唯一的名稱又便于人識別和記住，通常情況下用樹形的名稱結(jié)構(gòu)是一個理想的選擇，樹形的名稱結(jié)構(gòu)是一個有層次的目錄結(jié)構(gòu)，既對人友好又不會重復(fù)。說到這里你可能想到了 JNDI，沒錯 Zookeeper 的 Name Service 與 JNDI 能

23、夠完成的功能是差不多的，它們都是將有層次的目錄結(jié)構(gòu)關(guān)聯(lián)到一定資源上，但是 Zookeeper 的 Name Service 更加是廣泛意義上的關(guān)聯(lián)，也許你并不需要將名稱關(guān)聯(lián)到特定資源上，你可能只需要一個不會重復(fù)名稱，就像數(shù)據(jù)庫中產(chǎn)生一個唯一的數(shù)字主鍵一樣。</p><p>　　Name Service 已經(jīng)是 Zookeeper 內(nèi)置的功能，你只要調(diào)用 Zookeeper 的 API 就能實現(xiàn)。如調(diào)用 creat

24、e 接口就可以很容易創(chuàng)建一個目錄節(jié)點。</p><p>　　配置管理（Configuration Management）</p><p>　　配置的管理在分布式應(yīng)用環(huán)境中很常見，例如同一個應(yīng)用系統(tǒng)需要多臺 PC Server 運行，但是它們運行的應(yīng)用系統(tǒng)的某些配置項是相同的，如果要修改這些相同的配置項，那么就必須同時修改每臺運行這個應(yīng)用系統(tǒng)的 PC Server，這樣非常麻煩而且容易出錯。

25、</p><p>　　像這樣的配置信息完全可以交給 Zookeeper 來管理，將配置信息保存在 Zookeeper 的某個目錄節(jié)點中，然后將所有需要修改的應(yīng)用機器監(jiān)控配置信息的狀態(tài)，一旦配置信息發(fā)生變化，每臺應(yīng)用機器就會收到 Zookeeper 的通知，然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中。</p><p>　　圖 2. 配置管理結(jié)構(gòu)圖 </p>

26、;<p>　　集群管理（Group Membership）</p><p>　　Zookeeper 能夠很容易的實現(xiàn)集群管理的功能，如有多臺 Server 組成一個服務(wù)集群，那么必須要一個“總管”知道當(dāng)前集群中每臺機器的服務(wù)狀態(tài)，一旦有機器不能提供服務(wù)，集群中其它集群必須知道，從而做出調(diào)整重新分配服務(wù)策略。同樣當(dāng)增加集群的服務(wù)能力時，就會增加一臺或多臺 Server，同樣也必須讓“總管”知道。<

27、;/p><p>　　Zookeeper 不僅能夠幫你維護當(dāng)前的集群中機器的服務(wù)狀態(tài)，而且能夠幫你選出一個“總管”，讓這個總管來管理集群，這就是 Zookeeper 的另一個功能 Leader Election。</p><p>　　它們的實現(xiàn)方式都是在 Zookeeper 上創(chuàng)建一個 EPHEMERAL 類型的目錄節(jié)點，然后每個 Server 在它們創(chuàng)建目錄節(jié)點的父目錄節(jié)點上調(diào)用 g

28、etChildren(String path, boolean watch) 方法并設(shè)置 watch 為 true，由于是 EPHEMERAL 目錄節(jié)點，當(dāng)創(chuàng)建它的 Server 死去，這個目錄節(jié)點也隨之被刪除，所以 Children 將會變化，這時 getChildren上的 Watch 將會被調(diào)用，所以其它 Server 就知道已經(jīng)有某臺 Server 死去了。新增 Server 也是同樣的原理。<

29、;/p><p>　　Zookeeper 如何實現(xiàn) Leader Election，也就是選出一個 Master Server。和前面的一樣每臺 Server 創(chuàng)建一個 EPHEMERAL 目錄節(jié)點，不同的是它還是一個 SEQUENTIAL 目錄節(jié)點，所以它是個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點。之所以它是 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，是因為我們可以給每臺 Server 編號，

30、我們可以選擇當(dāng)前是最小編號的 Server 為 Master，假如這個最小編號的 Server 死去，由于是 EPHEMERAL 節(jié)點，死去的 Server 對應(yīng)的節(jié)點也被刪除，所以當(dāng)前的節(jié)點列表中又出現(xiàn)一個最小編號的節(jié)點，我們就選擇這個節(jié)點為當(dāng)前 Master。這樣就實現(xiàn)了動態(tài)選擇 Master，避免了傳統(tǒng)意義上單 Master 容易出現(xiàn)單點故障的問題。</p><p>　　圖 3. 集群管理結(jié)構(gòu)圖 

31、;</p><p>　　這部分的示例代碼如下，完整的代碼請看附件：</p><p>　　清單 3. Leader Election 關(guān)鍵代碼</p><p>　　共享鎖（Locks）</p><p>　　共享鎖在同一個進程中很容易實現(xiàn)，但是在跨進程或者在不同 Server 之間就不好實現(xiàn)了。Zookeeper 卻很容易實現(xiàn)這個功能，實現(xiàn)方式也

32、是需要獲得鎖的 Server 創(chuàng)建一個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，然后調(diào)用 getChildren方法獲取當(dāng)前的目錄節(jié)點列表中最小的目錄節(jié)點是不是就是自己創(chuàng)建的目錄節(jié)點，如果正是自己創(chuàng)建的，那么它就獲得了這個鎖，如果不是那么它就調(diào)用exists(String path, boolean watch) 方法并監(jiān)控 Zookeeper 上目錄節(jié)點列表的變化，一直到自己創(chuàng)建的節(jié)點是列表中

33、最小編號的目錄節(jié)點，從而獲得鎖，釋放鎖很簡單，只要刪除前面它自己所創(chuàng)建的目錄節(jié)點就行了。</p><p>　　圖 4. Zookeeper 實現(xiàn) Locks 的流程圖 </p><p>　　同步鎖的實現(xiàn)代碼如下，完整的代碼請看附件：</p><p>　　清單 4. 同步鎖的關(guān)鍵代碼</p><p><b>　　隊列管理&

34、lt;/b></p><p>　　Zookeeper 可以處理兩種類型的隊列：</p><p>　　當(dāng)一個隊列的成員都聚齊時，這個隊列才可用，否則一直等待所有成員到達，這種是同步隊列。</p><p>　　隊列按照 FIFO 方式進行入隊和出隊操作，例如實現(xiàn)生產(chǎn)者和消費者模型。</p><p>　　同步隊列用 Zookeeper 實現(xiàn)的

35、實現(xiàn)思路如下：</p><p>　　創(chuàng)建一個父目錄 /synchronizing，每個成員都監(jiān)控標(biāo)志（Set Watch）位目錄 /synchronizing/start 是否存在，然后每個成員都加入這個隊列，加入隊列的方式就是創(chuàng)建 /synchronizing/member_i 的臨時目錄節(jié)點，然后每個成員獲取 / synchronizing 目錄的所有目錄節(jié)點，也就是 member_i。判斷 i 的值是否已經(jīng)

36、是成員的個數(shù)，如果小于成員個數(shù)等待 /synchronizing/start 的出現(xiàn)，如果已經(jīng)相等就創(chuàng)建 /synchronizing/start。</p><p>　　用下面的流程圖更容易理解：</p><p>　　圖 5. 同步隊列流程圖 </p><p>　　同步隊列的關(guān)鍵代碼如下，完整的代碼請看附件：</p><p>　　

37、清單 5. 同步隊列</p><p>　　當(dāng)隊列沒滿是進入 wait()，然后會一直等待 Watch 的通知，Watch 的代碼如下：</p><p>　　FIFO 隊列用 Zookeeper 實現(xiàn)思路如下：</p><p>　　實現(xiàn)的思路也非常簡單，就是在特定的目錄下創(chuàng)建 SEQUENTIAL 類型的子目錄 /queue_i，這樣就能保證所有成員加入隊列時都是有編

38、號的，出隊列時通過 getChildren( ) 方法可以返回當(dāng)前所有的隊列中的元素，然后消費其中最小的一個，這樣就能保證 FIFO。</p><p>　　下面是生產(chǎn)者和消費者這種隊列形式的示例代碼，完整的代碼請看附件：</p><p>　　清單 6. 生產(chǎn)者代碼</p><p>　　清單 7. 消費者代碼</p><p><b>

39、　　總結(jié)</b></p><p>　　Zookeeper 作為 Hadoop 項目中的一個子項目，是 Hadoop 集群管理的一個必不可少的模塊，它主要用來控制集群中的數(shù)據(jù)，如它管理 Hadoop 集群中的 NameNode，還有 Hbase 中 Master Election、Server 之間狀態(tài)同步等。</p><p>　　本文介紹的 Zookeeper 的基本知識，以及