基于MBasedSWC-Varsize算法的重復(fù)數(shù)據(jù)消除技術(shù)研究.pdf

1、隨著信息化的發(fā)展，數(shù)據(jù)已經(jīng)成為企業(yè)賴以生存和發(fā)展的根本。近年來，企業(yè)數(shù)據(jù)量呈現(xiàn)出爆炸式增長的趨勢，許多行業(yè)的數(shù)據(jù)量已經(jīng)從GB、TB發(fā)展到PB甚至EB級別，這在銀行和電子商務(wù)類型的企業(yè)中表現(xiàn)尤為明顯，對于這些企業(yè)，數(shù)據(jù)已經(jīng)等同于財富。為了防止因數(shù)據(jù)丟失而導(dǎo)致的業(yè)務(wù)癱瘓，越來越多的企業(yè)開始建立自己的災(zāi)難備份系統(tǒng)。然而如此巨大的數(shù)據(jù)量如果靠簡單的數(shù)據(jù)復(fù)制方式進行全部備份，則會對存儲空間和網(wǎng)絡(luò)資源造成嚴(yán)重的負擔(dān)。為了在資源利用最優(yōu)化的前提下建立

2、企業(yè)災(zāi)備系統(tǒng)，重復(fù)數(shù)據(jù)消除這一概念應(yīng)運而生。
　　重復(fù)數(shù)據(jù)消除的關(guān)鍵在于消冗算法的高效，高效的消冗算法可以達到較高的壓縮比。目前主流的重復(fù)數(shù)據(jù)消除算法有整文件消冗、固定分塊大小消冗、基于內(nèi)容的分塊消冗。消冗粒度越小，效果越好，但是內(nèi)存及磁盤管理消耗也越大。
　　本文著重研究基于內(nèi)容的消冗算法，并在此基礎(chǔ)上提出了兩個改進算法MBasedSWC和MBasedSWC-Varsize，以及與之結(jié)合的消冗存儲模型FSBSM。新提出的改

3、進算法根據(jù)實際應(yīng)用中文件版本間重復(fù)數(shù)據(jù)大多連續(xù)出現(xiàn)的情況，采用了預(yù)分塊與子分塊合并策略，旨在保證算法良好壓縮率的前提下，解決基于內(nèi)容的分塊算法塊大小波動較大的問題。該算法同時也避免了同類算法使用內(nèi)存磁盤消耗換取壓縮率的情況，達到了平衡算法各項性能的目的。而與之結(jié)合的FSBSM消冗存儲模型，通過文件相似度判斷、雙層存儲結(jié)構(gòu)以及節(jié)點選擇策略，使得重復(fù)數(shù)據(jù)消除技術(shù)能夠在網(wǎng)絡(luò)集群環(huán)境中發(fā)揮最大的價值。
　　最后本文結(jié)合上述理論研究，設(shè)計并