面向備份容災(zāi)系統(tǒng)的重復(fù)數(shù)據(jù)刪除引擎的設(shè)計與實現(xiàn).pdf

1、隨著信息時代的發(fā)展，數(shù)據(jù)逐漸成為了人類社會的核心，數(shù)據(jù)的安全問題也逐漸引起重視，人們提出備份數(shù)據(jù)的容災(zāi)方案對數(shù)據(jù)進(jìn)行保護(hù)。但是隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)的增長過于兇猛，導(dǎo)致容災(zāi)方案不得不增加更多的物理存儲設(shè)備以及更高的網(wǎng)絡(luò)帶寬來存儲保護(hù)這些數(shù)據(jù)，高昂的存儲設(shè)備以及維護(hù)費(fèi)用，致使運(yùn)營成本大大提升。這些龐大的數(shù)據(jù)，在細(xì)粒度層面存在大量重復(fù)和冗余，而這些重復(fù)和冗余并不需要傳輸甚至保護(hù)。因此為容災(zāi)系統(tǒng)設(shè)計一套消除冗余數(shù)據(jù)且不影響容災(zāi)的系統(tǒng)引擎，

2、是解決數(shù)據(jù)過快增長和節(jié)約成本的絕佳辦法，所以容災(zāi)開發(fā)組提出了開發(fā)重復(fù)數(shù)據(jù)刪除引擎的需求。
　　本文站在存儲行業(yè)的發(fā)展角度，分析了當(dāng)前先進(jìn)的國外存儲廠商在重復(fù)數(shù)據(jù)刪除領(lǐng)域的發(fā)展趨勢和研究現(xiàn)狀，提出了重復(fù)數(shù)據(jù)刪除引擎的系統(tǒng)設(shè)計。本文將重復(fù)數(shù)據(jù)刪除引擎分為客戶端與服務(wù)器兩部分，詳細(xì)介紹了將粗粒度災(zāi)備數(shù)據(jù)塊切分為細(xì)粒度數(shù)據(jù)片的分片算法，加速客戶端判重的改進(jìn)LRU緩存算法，減少服務(wù)器磁盤I/O讀寫的布隆過濾器和局域緩存維持的雙層緩存加速技術(shù)

3、，以及快速I/O查詢的雙層索引。
　　引擎采用C++語言以C/S結(jié)構(gòu)為模型進(jìn)行設(shè)計與開發(fā)。其中指紋計算、數(shù)據(jù)分片和本地指紋緩存都是提升重刪客戶端性能的重點，指紋可以保證數(shù)據(jù)的唯一性，而不同的分片算法將會導(dǎo)致不同的重刪率，本地緩存則會加速判重速度。重刪服務(wù)器是數(shù)據(jù)存儲判重的唯一機(jī)構(gòu)，結(jié)合布隆過濾器以及局域緩存維持技術(shù)實現(xiàn)了雙層緩存的加速判重方法，并依賴于數(shù)據(jù)局部性原理將數(shù)據(jù)建立了快速查詢數(shù)據(jù)的雙層索引。同時對客戶端與服務(wù)器的線程模型