一種數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)流框架設(shè)計(jì)和實(shí)現(xiàn).pdf

1、在數(shù)據(jù)庫(kù)管理(Database Management)領(lǐng)域，實(shí)時(shí)或者近實(shí)時(shí)的數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制(Real Time or Near Real Time Database Replication)始終是企業(yè)級(jí)數(shù)據(jù)管理領(lǐng)域的一個(gè)重要主題。大數(shù)據(jù)時(shí)代的來(lái)臨對(duì)數(shù)據(jù)庫(kù)管理領(lǐng)域的影響是深遠(yuǎn)和長(zhǎng)久的。本論文的研究目標(biāo)是設(shè)計(jì)一種高性能數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)流框架，基于該框架的數(shù)據(jù)庫(kù)復(fù)制系統(tǒng)能夠充分利用現(xiàn)有的軟件、硬件的技術(shù)進(jìn)步，從而提供高速的數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制服務(wù)。<

2、br>　　本論文的主要工作和貢獻(xiàn)如下：
　　1.設(shè)計(jì)和實(shí)現(xiàn)了一種基于并發(fā)執(zhí)行的子任務(wù)流水線架構(gòu)，以此實(shí)現(xiàn)高性能的數(shù)據(jù)庫(kù)復(fù)制系統(tǒng)。從系統(tǒng)開發(fā)角度，子任務(wù)是完成數(shù)據(jù)復(fù)制的分解步驟的過(guò)程描述，與具體的運(yùn)行線程隔離，從運(yùn)維角度，用戶可以通過(guò)調(diào)節(jié)同時(shí)執(zhí)行的子任務(wù)的個(gè)數(shù)來(lái)調(diào)控?cái)?shù)據(jù)庫(kù)復(fù)制的性能和計(jì)算資源占用的關(guān)系。
　　2.研究分析了不同事務(wù)之間數(shù)據(jù)變更的相互依賴關(guān)系，將無(wú)依賴的變更并發(fā)復(fù)制到目標(biāo)數(shù)據(jù)庫(kù)中，充分利用了目標(biāo)數(shù)據(jù)庫(kù)自身的并發(fā)處

3、理能力，從而提高了數(shù)據(jù)復(fù)制的性能。
　　3.設(shè)計(jì)了一種可以計(jì)算一段時(shí)間內(nèi)所有事務(wù)凈變更的計(jì)算方法，從而減少了需要寫入目標(biāo)數(shù)據(jù)庫(kù)的變更操作個(gè)數(shù)，提高了特定場(chǎng)景下的數(shù)據(jù)復(fù)制的性能。
　　4.設(shè)計(jì)了一種簡(jiǎn)單的自動(dòng)調(diào)節(jié)事務(wù)提交尺寸的算法，提高了數(shù)據(jù)庫(kù)的事務(wù)吞吐量，并進(jìn)行了單項(xiàng)性能測(cè)試。
　　5.研究了特定數(shù)據(jù)庫(kù)編程接口對(duì)數(shù)據(jù)復(fù)制性能的影響，包括預(yù)編譯SQL接口和BULK LOAD接口，并對(duì)其性能進(jìn)行了對(duì)比實(shí)驗(yàn)驗(yàn)證。