基于閃存的樂觀數(shù)據(jù)復(fù)制技術(shù)研究.pdf

1、隨著計(jì)算機(jī)科技與互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，全球的應(yīng)用系統(tǒng)產(chǎn)生了海量的數(shù)據(jù)。這些數(shù)據(jù)系統(tǒng)一方面要求較高的訪問性能，另一方面也要求較高的可用性，同時(shí)也要求具有容量與地理的高可擴(kuò)展性。所以，分布式存儲(chǔ)系統(tǒng)的大規(guī)模使用就成為了滿足以上需求的必然選擇，而其中，數(shù)據(jù)復(fù)制技術(shù)尤其是樂觀數(shù)據(jù)復(fù)制技術(shù)是最為核心的技術(shù)之一。樂觀數(shù)據(jù)復(fù)制的本質(zhì)是在各個(gè)分布節(jié)點(diǎn)上數(shù)據(jù)副本的創(chuàng)建與維護(hù)，那么就必然需要和存儲(chǔ)介質(zhì)發(fā)生關(guān)聯(lián)。傳統(tǒng)的存儲(chǔ)介質(zhì)一般以機(jī)械磁盤為主，但是機(jī)械磁盤

2、是上個(gè)世紀(jì)70年代的產(chǎn)物，已經(jīng)遠(yuǎn)遠(yuǎn)落后于整體的計(jì)算機(jī)發(fā)展進(jìn)度，不能滿足對(duì)數(shù)據(jù)的高吞吐率讀寫要求，所以一種新型的電子存儲(chǔ)器:閃存，應(yīng)運(yùn)而生。閃存相比傳統(tǒng)磁盤，具有讀寫吞吐率高，隨機(jī)讀寫性能優(yōu)越，并發(fā)讀寫優(yōu)勢(shì)明顯等優(yōu)點(diǎn)，但是，由于其特殊的物理結(jié)構(gòu)，也存在著“寫放大”與“重寫前擦除”等缺點(diǎn)。所以，傳統(tǒng)的應(yīng)用系統(tǒng)雖然直接通過硬件的升級(jí)就可以收到良好的性能提升，但是系統(tǒng)仍然需要進(jìn)一步的調(diào)整與優(yōu)化，解決“閃存并發(fā)寫入優(yōu)勢(shì)的合理應(yīng)用”與“閃存寫入操作

3、缺陷的規(guī)避”這兩大問題，才可以充分地發(fā)揮閃存的特性。那么，作為與存儲(chǔ)介質(zhì)關(guān)系緊密的樂觀數(shù)據(jù)復(fù)制系統(tǒng)，在采用閃存作為存儲(chǔ)介質(zhì)之后，也需要進(jìn)行算法本身的改進(jìn)與優(yōu)化，才可以解決上述兩大問題，實(shí)現(xiàn)數(shù)據(jù)復(fù)制性能等指標(biāo)的迸一步提升。
　　樂觀數(shù)據(jù)復(fù)制根據(jù)數(shù)據(jù)更新的數(shù)據(jù)流，可以分為5個(gè)過程，即操作提交，數(shù)據(jù)更新分發(fā)，數(shù)據(jù)更新調(diào)度，沖突檢測(cè)/解決，以及數(shù)據(jù)更新提交。其中與存儲(chǔ)系統(tǒng)緊密相關(guān)的為三個(gè)過程，即數(shù)據(jù)更新分發(fā)，數(shù)據(jù)更新調(diào)度與數(shù)據(jù)更新提交。所

4、以，針對(duì)基于閃存的系統(tǒng)需要解決的兩大問題，從上述三個(gè)過程出發(fā)，本文的主要內(nèi)容如下:
　　本文首先針對(duì)在數(shù)據(jù)更新的分發(fā)過程中，一般以單一數(shù)據(jù)更新為單位，容易產(chǎn)生大量不適合閃存寫入特點(diǎn)的隨機(jī)小數(shù)據(jù)量寫操作的缺陷，提出了閃存感知的成組數(shù)據(jù)更新分發(fā)算法FAGUA。該算法以相關(guān)數(shù)據(jù)集為數(shù)據(jù)更新分發(fā)的基本單位，并只在相關(guān)數(shù)據(jù)集的修改比率達(dá)到一定閾值的時(shí)候才觸發(fā)分發(fā)過程，從而實(shí)現(xiàn)了以閃存數(shù)據(jù)塊或其整數(shù)倍為基準(zhǔn)的寫對(duì)齊，解決了基于閃存特性的數(shù)據(jù)更

5、新分發(fā)時(shí)機(jī)選擇問題。之后，又基于FAGUA，提出了改進(jìn)的數(shù)據(jù)更新分發(fā)算法IRN-FAGUA，即基于理想數(shù)據(jù)副本的FAGUA算法。該算法首先對(duì)每個(gè)相關(guān)數(shù)據(jù)集的理想數(shù)據(jù)副本數(shù)目進(jìn)行計(jì)算，然后以此為依據(jù)，解決了在數(shù)據(jù)更新的分發(fā)過程中是否需要?jiǎng)?chuàng)建或替換數(shù)據(jù)副本的問題。FAGUA與IRN-FAGUA規(guī)避了閃存的寫入缺陷，降低了閃存的擦寫次數(shù)，提高了整體的數(shù)據(jù)復(fù)制性能，同時(shí)由于數(shù)據(jù)相關(guān)性的引入，也大大地提高了數(shù)據(jù)副本的本地命中率。
　　之后，

6、本文又針對(duì)數(shù)據(jù)更新調(diào)度過程中的缺陷，即調(diào)度結(jié)構(gòu)往往為單隊(duì)列設(shè)計(jì)，無法充分發(fā)揮閃存的并發(fā)寫入優(yōu)勢(shì)，提出了基于閃存的多隊(duì)列數(shù)據(jù)更新調(diào)度算法，F(xiàn)BSA。FBSA以數(shù)據(jù)修改集作為數(shù)據(jù)分發(fā)內(nèi)容，通過對(duì)不同數(shù)據(jù)修改集之間的依賴關(guān)系判斷，以最小化其非本隊(duì)列數(shù)據(jù)依賴集中的元素個(gè)數(shù)為目標(biāo)，實(shí)現(xiàn)了多隊(duì)列的調(diào)度結(jié)構(gòu)創(chuàng)建。同時(shí)，以最大化后臺(tái)提交過程的并行度為目標(biāo)，盡可能同時(shí)從所有的調(diào)度隊(duì)列中獲取頭元素用于并發(fā)提交，從而實(shí)現(xiàn)了多隊(duì)列調(diào)度結(jié)構(gòu)的充分使用。該算法可以

7、充分地發(fā)揮閃存的并發(fā)寫入優(yōu)勢(shì)，有利于閃存利用率與數(shù)據(jù)復(fù)制性能的提升。
　　最后，針對(duì)數(shù)據(jù)更新的提交過程中，提交一般以單獨(dú)的操作為單位，從而也會(huì)產(chǎn)生大量小數(shù)據(jù)量隨機(jī)寫，不適合閃存寫入特點(diǎn)的缺陷，本文提出了基于上下文的數(shù)據(jù)更新提交算法，CBCA。CBCA通過對(duì)一定時(shí)間窗口內(nèi)所有操作的上下文分析，得出所有操作之間的可合并，可覆蓋或可回滾關(guān)系，然后對(duì)操作進(jìn)行合并或者消除，實(shí)現(xiàn)了以閃存數(shù)據(jù)塊大小為基準(zhǔn)的組提交。從而規(guī)避了閃存的寫入缺陷，有利