分布式數(shù)據(jù)庫中數(shù)據(jù)庫復(fù)制的研究與實(shí)現(xiàn).pdf

1、分布式數(shù)據(jù)庫作為海量數(shù)據(jù)服務(wù)的一種解決方案已被廣泛應(yīng)用，它的多節(jié)點(diǎn)結(jié)構(gòu)降低了系統(tǒng)對(duì)單個(gè)節(jié)點(diǎn)的性能要求的同時(shí)卻提高了系統(tǒng)出錯(cuò)的概率。數(shù)據(jù)庫復(fù)制技術(shù)最初的目的是防止單個(gè)數(shù)據(jù)庫中的數(shù)據(jù)丟失，為了提高數(shù)據(jù)節(jié)點(diǎn)的安全性和可用性，該技術(shù)被廣泛應(yīng)用到分布式數(shù)據(jù)庫中，以提高系統(tǒng)的性能和錯(cuò)誤恢復(fù)能力。數(shù)據(jù)庫復(fù)制的核心問題是數(shù)據(jù)的一致性與實(shí)時(shí)性，針對(duì)這兩個(gè)問題，現(xiàn)有的研究中引入了很多新技術(shù)，但這些研究大多只側(cè)重于其中一個(gè)問題。在實(shí)際應(yīng)用中，分布式數(shù)據(jù)庫必須

2、面對(duì)高并發(fā)和大數(shù)據(jù)的挑戰(zhàn)，因此對(duì)數(shù)據(jù)庫復(fù)制的性能要求很高，而現(xiàn)有的復(fù)制系統(tǒng)大部分集成于特定數(shù)據(jù)庫產(chǎn)品中，通用性不強(qiáng)，其中有的無法確保強(qiáng)一致性，有的則實(shí)時(shí)性不足。因此，為了提高復(fù)制效率的同時(shí)保證數(shù)據(jù)一致性，本文通過重點(diǎn)研究并解決基于事務(wù)的復(fù)制技術(shù)、多線程復(fù)制中的事務(wù)可串行性保持機(jī)制、沖突檢測(cè)與處理機(jī)制、熱備份動(dòng)態(tài)切換中的一致性保持等關(guān)鍵技術(shù)問題，在分析現(xiàn)有數(shù)據(jù)庫復(fù)制系統(tǒng)優(yōu)缺點(diǎn)的基礎(chǔ)上，結(jié)合Cobar分布式系統(tǒng)的特點(diǎn)，設(shè)計(jì)出適合星型結(jié)構(gòu)分布

3、式數(shù)據(jù)庫的多線程復(fù)制系統(tǒng)的框架。
　　本文的主要研究和工作體現(xiàn)在下列幾個(gè)方面:
　　(1)基于對(duì)常見復(fù)制技術(shù)與Cobar系統(tǒng)的框架分析確定適用于Cobar系統(tǒng)的數(shù)據(jù)庫復(fù)制方案。首先，以Cobar系統(tǒng)現(xiàn)有的MySQL主從復(fù)制機(jī)制為例，指出其中不僅存在較大的效率瓶頸，也存在節(jié)點(diǎn)失效后數(shù)據(jù)丟失的問題。然后在分析數(shù)據(jù)庫復(fù)制系統(tǒng)的通用框架結(jié)構(gòu)的基礎(chǔ)上，針對(duì)復(fù)制對(duì)象捕獲，復(fù)制數(shù)據(jù)分發(fā)，數(shù)據(jù)同步中的一致性保持和并行操作中的沖突檢測(cè)與處理這

4、四個(gè)主要模塊，分析比較各模塊中需要面對(duì)的主要問題以及常用的解決方案。
　　(2)設(shè)計(jì)了一種以事務(wù)為基本復(fù)制對(duì)象的主從異步復(fù)制系統(tǒng)DRFC(Database ReplicationFor Cobar)。該系統(tǒng)框架的設(shè)計(jì)是基于通用框架演變而來，對(duì)其中部分模塊功能做了更細(xì)致的劃分，能有效減少節(jié)點(diǎn)間的通訊量，減小對(duì)Cobar系統(tǒng)運(yùn)行的影響，復(fù)制過程采用多線程技術(shù)，提高了復(fù)制的效率。系統(tǒng)的設(shè)計(jì)主要包括:對(duì)象捕獲模塊、數(shù)據(jù)封裝與解析模塊、事務(wù)

5、管理模塊、同步管理模塊、數(shù)據(jù)同步模塊、沖突檢測(cè)與處理模塊、動(dòng)態(tài)切換模塊和各模塊的調(diào)用接口設(shè)計(jì)。
　　(3)設(shè)計(jì)了一種多線程異步復(fù)制下的主從一致性和系統(tǒng)全局一致性保持機(jī)制。研究了三種多線程復(fù)制中一致性保持策略，提出并設(shè)計(jì)了并行執(zhí)行串行提交復(fù)制策略的改進(jìn)方案。該方案以時(shí)間戳和系統(tǒng)分配的事務(wù)編號(hào)為事務(wù)串行化依據(jù)，利用事務(wù)鎖進(jìn)行同步控制，各事務(wù)不用嚴(yán)格按照串行順序提交。
　　(4)根據(jù)DRFC系統(tǒng)的具體設(shè)計(jì)，實(shí)現(xiàn)了該系統(tǒng)并完成相關(guān)測(cè)