相鄰重復(fù)數(shù)據(jù)塊相似性去重性能優(yōu)化研究與實(shí)現(xiàn).pdf

1、但是如果直接刪除該數(shù)據(jù)塊可能會(huì)引起系統(tǒng)抖動(dòng)，為防止系統(tǒng)出現(xiàn)抖動(dòng)，再次引入前文中設(shè)置的時(shí)間參數(shù)和歷史參數(shù)，避免刪除當(dāng)期被引用過的數(shù)據(jù)。
　　本文結(jié)合分布式平臺(tái)Hadoop構(gòu)建實(shí)現(xiàn)了本方案。通過實(shí)驗(yàn)表明在引入布隆過濾器之后四次測(cè)驗(yàn)系統(tǒng)平均吞吐率從756.3MB/S提高到832.5MB/S，提升了10.08％；對(duì)比DDFS Indexing和Extreme Binning的重復(fù)數(shù)據(jù)刪除率和吞吐率，Adj-Dedup的重復(fù)數(shù)據(jù)刪除率高于E

2、xtreme Binning略低于DDFS Indexing，而Adj-Dedup的吞吐率高于800MB/S，Extreme Binning約為500MB/S，而DDFS Indexing吞吐率低于200MB/S。本文所設(shè)計(jì)的重復(fù)數(shù)據(jù)刪除方案，具有較好的系統(tǒng)性能。
　　隨著信息全球化的到來，全球數(shù)據(jù)總量呈爆炸式增長(zhǎng)，然而物理存儲(chǔ)資源的增長(zhǎng)速度遠(yuǎn)低于數(shù)據(jù)總量的增長(zhǎng)速度，傳統(tǒng)的存儲(chǔ)方式也亟待改進(jìn)。根據(jù)統(tǒng)計(jì)，存儲(chǔ)系統(tǒng)中存在著大量的冗余數(shù)

3、據(jù)，正是這些相同或者相似的冗余數(shù)據(jù)導(dǎo)致了數(shù)據(jù)總量的爆炸增長(zhǎng)。重復(fù)數(shù)據(jù)的刪除技術(shù)可以有效識(shí)別并刪除存儲(chǔ)系統(tǒng)中的重復(fù)數(shù)據(jù)，因此在各個(gè)存儲(chǔ)相關(guān)領(lǐng)域中被普遍運(yùn)用。但是作為一種新興的技術(shù)，依然存在有很多需要改進(jìn)的地方，如重復(fù)數(shù)據(jù)刪除索引在未命中的情況下的額外開銷、低效率的相似檢測(cè)方案以及對(duì)于零引用數(shù)據(jù)塊的存儲(chǔ)造成的資源浪費(fèi)等。針對(duì)文件備份系統(tǒng)，為了改進(jìn)以上不足，從而提升系統(tǒng)性能，設(shè)計(jì)提出了基于重復(fù)數(shù)據(jù)塊相鄰數(shù)據(jù)塊相似性的重復(fù)數(shù)據(jù)刪除方案。

4、　　重復(fù)數(shù)據(jù)的刪除系統(tǒng)首先要將數(shù)據(jù)流進(jìn)行一定處理——數(shù)據(jù)分塊，使其能夠更好地進(jìn)行重復(fù)數(shù)據(jù)檢測(cè)。由于不同的分塊算法，所得到的數(shù)據(jù)塊會(huì)有很大區(qū)別，并且會(huì)直接影響到刪除重復(fù)的數(shù)據(jù)的效果。通過對(duì)不同分塊算法對(duì)比后，本文所設(shè)計(jì)的方案選擇滑動(dòng)塊技術(shù)對(duì)數(shù)據(jù)流進(jìn)行劃分。在對(duì)數(shù)據(jù)塊進(jìn)行檢索之前需要對(duì)數(shù)據(jù)塊進(jìn)行散列運(yùn)算得到其指紋。指紋代表著與之對(duì)應(yīng)的數(shù)據(jù)塊，是進(jìn)行重復(fù)檢測(cè)的基本單位。不同的散列運(yùn)算算法計(jì)算出的指紋的精度也有不同，并且發(fā)生哈希碰撞的可能性也有

5、區(qū)別。本文選用160位的SHA-1安全哈希算法，其發(fā)生哈希碰撞的概率分布區(qū)間為2-55－2-75，能夠滿足系統(tǒng)的需要。由于在PB級(jí)存儲(chǔ)系統(tǒng)中，其指紋索引過大無法完全存放在內(nèi)存中，導(dǎo)致需要訪問硬盤，這就給檢索帶來了更多的開銷。對(duì)此引入Bloom Filter。Bloom Filter能夠快速的判斷某個(gè)元素滿足某集合與否。
　　在進(jìn)行重復(fù)數(shù)據(jù)刪除相同檢測(cè)之后，系統(tǒng)中依然存儲(chǔ)有海量的相似數(shù)據(jù)。如果對(duì)所有數(shù)據(jù)塊都進(jìn)行相似檢測(cè)是不實(shí)際的。為

6、了更好更高效的檢測(cè)相似數(shù)據(jù)，本文建立了一個(gè)數(shù)據(jù)塊價(jià)值評(píng)價(jià)模型，基于此設(shè)定了一個(gè)相似檢測(cè)的閾值。相似檢測(cè)的閾值是根據(jù)數(shù)據(jù)塊在某一期的熱度值和前一期的歷史價(jià)值以及重復(fù)率計(jì)算得出。其中熱度值是通過該數(shù)據(jù)塊在這一期的被引用次數(shù)和最后訪問時(shí)間計(jì)算得出。前一期的歷史價(jià)值是根據(jù)前一期該數(shù)據(jù)塊的熱度值乘以一個(gè)控制參數(shù)計(jì)算得出，是為了防止發(fā)生抖動(dòng)而提出的。通過相似檢測(cè)閾值判定數(shù)據(jù)塊是否需要進(jìn)行相似度檢測(cè)，從而提高相似檢測(cè)的效率。
　　在進(jìn)行重復(fù)的數(shù)

7、據(jù)刪除之后，系統(tǒng)中仍然會(huì)存在零引用的數(shù)據(jù)塊。這些零引用的數(shù)據(jù)塊需要進(jìn)行清理。通過之前設(shè)定的序數(shù)參數(shù)可以判定數(shù)據(jù)塊是否是零引用，即當(dāng)序數(shù)參數(shù)等于零的時(shí)候，則表明該數(shù)據(jù)塊沒有被引用，所以可以被清理。但是如果直接刪除該數(shù)據(jù)塊可能會(huì)引起系統(tǒng)抖動(dòng)，為防止系統(tǒng)出現(xiàn)抖動(dòng)，再次引入前文中設(shè)置的時(shí)間參數(shù)和歷史參數(shù)，避免刪除當(dāng)期被引用過的數(shù)據(jù)。
　　本文結(jié)合分布式平臺(tái)Hadoop構(gòu)建實(shí)現(xiàn)了本方案。通過實(shí)驗(yàn)表明在引入布隆過濾器之后四次測(cè)驗(yàn)系統(tǒng)平均吞吐率

8、從756.3MB/S提高到832.5MB/S，提升了10.08%；對(duì)比DDFS Indexing和Extreme Binning的重復(fù)數(shù)據(jù)刪除率和吞吐率，Adj-Dedup的重復(fù)數(shù)據(jù)刪除率高于Extreme Binning略低于DDFS Indexing，而Adj-Dedup的吞吐率高于800MB/S，Extreme Binning約為500MB/S，而DDFS Indexing吞吐率低于200MB/S。本文所設(shè)計(jì)的重復(fù)數(shù)據(jù)刪除方案，具