跨數(shù)據(jù)中心分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)基礎(chǔ)設(shè)施的普及，各種上網(wǎng)終端的流行以及Web2.0技術(shù)和社交網(wǎng)絡(luò)的興起，位于任何地方的用戶都能很容易的獲取和創(chuàng)造內(nèi)容，因此一個(gè)應(yīng)用程序的數(shù)據(jù)以及對(duì)這些數(shù)據(jù)的訪問和更改往往來(lái)自不同地方甚至是全球的。為了讓不同地區(qū)的用戶能就近訪問數(shù)據(jù)以減少用戶請(qǐng)求的響應(yīng)時(shí)間，這類跨地域的應(yīng)用通常采用跨數(shù)據(jù)中心的分布式存儲(chǔ)系統(tǒng)來(lái)保存數(shù)據(jù)。
　　在跨數(shù)據(jù)中心的分布式系統(tǒng)中，數(shù)據(jù)中心間的消息傳輸延遲時(shí)間長(zhǎng)，帶寬小，網(wǎng)絡(luò)不穩(wěn)定，這些特點(diǎn)使該類系統(tǒng)的可

2、用性，可靠性，可擴(kuò)展性以及性能成為其面臨的主要問題，而數(shù)據(jù)復(fù)制技術(shù)是解決跨數(shù)據(jù)中心分布式存儲(chǔ)系統(tǒng)中出現(xiàn)的這些問題的有效手段。首先，數(shù)據(jù)復(fù)制技術(shù)能通過增加冗余的方式來(lái)提高系統(tǒng)的可用性和可靠性;其次，數(shù)據(jù)復(fù)制技術(shù)通過將數(shù)據(jù)副本放置在離用戶較近處來(lái)降低請(qǐng)求的網(wǎng)絡(luò)傳輸時(shí)間以提高性能;最后，通過增加熱點(diǎn)數(shù)據(jù)的副本數(shù)目能分流讀請(qǐng)求的負(fù)載，提高系統(tǒng)的擴(kuò)展能力。因此，在跨數(shù)據(jù)中心的分布式存儲(chǔ)系統(tǒng)中研究數(shù)據(jù)復(fù)制技術(shù)具有重要意義。
　　數(shù)據(jù)復(fù)制技術(shù)無(wú)

3、論在理論研究還是在實(shí)踐中都是一個(gè)吸引人的研究課題，得到了大量的研究。數(shù)據(jù)復(fù)制在數(shù)據(jù)庫(kù)領(lǐng)域和分布式系統(tǒng)領(lǐng)域是獨(dú)自發(fā)展起來(lái)的，由于這兩個(gè)領(lǐng)域各自不同的特點(diǎn)，它們采用數(shù)據(jù)復(fù)制技術(shù)的目的和方法也完全不同。如今的跨數(shù)據(jù)中心存儲(chǔ)系統(tǒng)既要像數(shù)據(jù)庫(kù)系統(tǒng)一樣提供方便而強(qiáng)大的數(shù)據(jù)管理能力又要像分布式系統(tǒng)一樣提供很強(qiáng)的可擴(kuò)展性和透明的容錯(cuò)能力，因此對(duì)數(shù)據(jù)復(fù)制技術(shù)提出了更高的要求。
　　在設(shè)計(jì)一個(gè)跨數(shù)據(jù)中心分布式存儲(chǔ)系統(tǒng)的時(shí)候，如下方面和數(shù)據(jù)復(fù)制相關(guān)的問

4、題需要得到解決:
　　1)什么時(shí)候創(chuàng)建副本，每個(gè)數(shù)據(jù)創(chuàng)建多少個(gè)副本;
　　2)將副本放置到什么地方;
　　3)如何將用戶請(qǐng)求轉(zhuǎn)發(fā)給合適的副本進(jìn)行處理。
　　本文的主要研究?jī)?nèi)容圍繞著以上三個(gè)方面展開，也即副本的創(chuàng)建，副本的放置以及副本的選擇。
　　副本創(chuàng)建:本文根據(jù)當(dāng)前廣泛采用的雙層的跨數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)，在考慮了一些政策限制的前提下，提出了一種動(dòng)態(tài)副本創(chuàng)建策略TGstag。TGstag通過同時(shí)創(chuàng)建數(shù)據(jù)中心內(nèi)部

5、的副本和跨數(shù)據(jù)中心的副本這兩種類型的副本來(lái)盡可能少的消耗數(shù)據(jù)中心間的網(wǎng)絡(luò)帶寬和降低用戶訪問延遲時(shí)間。在跨數(shù)據(jù)中心的副本創(chuàng)建中，TGstag首先考慮政策的限制，然后根據(jù)來(lái)自不同數(shù)據(jù)中心的請(qǐng)求數(shù)目以及數(shù)據(jù)中心間的不同網(wǎng)絡(luò)延遲時(shí)間來(lái)考慮將數(shù)據(jù)創(chuàng)建到哪些數(shù)據(jù)中心中，以實(shí)現(xiàn)最少的跨數(shù)據(jù)中心副本訪問以及最短的平均訪問延遲時(shí)間。在數(shù)據(jù)中心內(nèi)部，當(dāng)一個(gè)副本所在的節(jié)點(diǎn)負(fù)載超過一定閾值的時(shí)候，TGstag會(huì)挑選出該節(jié)點(diǎn)上被訪問次數(shù)最多的若干數(shù)據(jù)，然后在這個(gè)

6、節(jié)點(diǎn)所在的數(shù)據(jù)中心選擇一個(gè)負(fù)載最小且有足夠容量的節(jié)點(diǎn)并將這些數(shù)據(jù)復(fù)制到選中的節(jié)點(diǎn)中，以提高系統(tǒng)的吞吐率。
　　副本放置:本文提出了在跨數(shù)據(jù)中心場(chǎng)景下的新型副本放置算法GCplace。首先，GCplace使用網(wǎng)絡(luò)坐標(biāo)系統(tǒng)對(duì)數(shù)據(jù)中心和用戶的位置進(jìn)行建模，通過將用戶和數(shù)據(jù)中心映射成網(wǎng)絡(luò)坐標(biāo)系統(tǒng)中的坐標(biāo)的方式，將用戶到數(shù)據(jù)中心的訪問延遲時(shí)間問題轉(zhuǎn)換成求網(wǎng)絡(luò)坐標(biāo)系統(tǒng)中兩個(gè)不同坐標(biāo)間的距離問題。在此基礎(chǔ)上，GCplace通過兩個(gè)步驟來(lái)決定如何

7、放置數(shù)據(jù)副本。第一步，采用基于流的相似性聚類方法，用較少數(shù)量的微簇來(lái)代表數(shù)量龐大的用戶，從而極大的減少計(jì)算量。第二步，用迭代式的算法計(jì)算出每個(gè)數(shù)據(jù)的副本應(yīng)該對(duì)應(yīng)的網(wǎng)絡(luò)坐標(biāo)，并選取離這些坐標(biāo)最近的數(shù)據(jù)中心進(jìn)行存放。通過這兩個(gè)步驟，GCplace能以可接受的代價(jià)比較精確的計(jì)算出每個(gè)數(shù)據(jù)應(yīng)該放置于哪些數(shù)據(jù)中心，從而最大化的降低用戶平均訪問延遲時(shí)間。
　　副本選擇:本文提出了一種動(dòng)態(tài)可調(diào)的副本選擇算法來(lái)保證基于Quorum的跨數(shù)據(jù)中心分布

8、式存儲(chǔ)系統(tǒng)在能獲得一定比例最新數(shù)據(jù)的前提下盡可能的提高性能。在一個(gè)基于Quorum的跨數(shù)據(jù)中心存儲(chǔ)系統(tǒng)中，每次請(qǐng)求需要同步訪問的副本數(shù)目的不同對(duì)系統(tǒng)性能，可用性以及獲取最新數(shù)據(jù)的概率會(huì)產(chǎn)生不同的影響。本文首先根據(jù)一定算法從多個(gè)常見讀寫請(qǐng)求到達(dá)分布模型中選擇一個(gè)最匹配當(dāng)前應(yīng)用程序的分布模型來(lái)預(yù)測(cè)每次讀請(qǐng)求與在它之前的最近寫請(qǐng)求間的到達(dá)時(shí)間間隔。接著采用蒙特卡羅模型來(lái)模擬預(yù)測(cè)讀寫請(qǐng)求在不同數(shù)據(jù)中心副本間響應(yīng)的先后順序，然后通過這些預(yù)測(cè)的值來(lái)