一種基于重復(fù)數(shù)據(jù)刪除的備份系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著信息化程度的不斷提高，數(shù)據(jù)對于企業(yè)的重要性愈發(fā)凸顯。由于企業(yè)日常生產(chǎn)過程中會產(chǎn)生了大量的生產(chǎn)數(shù)據(jù)，尤其是近年來，海量數(shù)據(jù)的爆炸性增長對數(shù)據(jù)中心的存儲能力提出了更高的要求。統(tǒng)計數(shù)據(jù)表明，企業(yè)日常新增海量數(shù)據(jù)之間存在著許多相似的數(shù)據(jù)，為此，提出了重復(fù)數(shù)據(jù)刪除技術(shù)。當(dāng)前，采用重復(fù)數(shù)據(jù)刪除技術(shù)以改進數(shù)據(jù)存儲效率、提高海量數(shù)據(jù)處理性能具有重要的理論和實用價值。
　　 本文設(shè)計了一種基于重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)，該系統(tǒng)能夠有效地對文件

2、進行存儲并壓縮從而節(jié)約存儲空間，并且，在數(shù)據(jù)壓縮同時也能夠節(jié)省傳輸帶寬，可以讓各個版本的數(shù)據(jù)在存儲器上有效保存，降低磁盤開銷。
　　 基于重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)在功能點上可以分為兩大功能模塊：重復(fù)數(shù)據(jù)刪除模塊，用于實現(xiàn)文件分塊以及數(shù)據(jù)消重；性能改進模塊，用于實現(xiàn)預(yù)處理功能和負(fù)載均衡。
　　 在重復(fù)數(shù)據(jù)刪除模塊中，為了滿足對文件數(shù)據(jù)變化敏感度低的性能需求，文件分塊模塊設(shè)計采用的是變長分塊模式，從而保證了各個版本文件分成

3、的塊之間相似性更大。在系統(tǒng)消重模塊，引入了BloomFilter算法，以O(shè)（1）的時間復(fù)雜度完成一次判重處理，該算法在效率上比傳統(tǒng)使用數(shù)據(jù)庫進行消重快許多。雖然Bloom Filter有一定的誤判率，但是經(jīng)理論論證與實驗表明，當(dāng)其處理數(shù)據(jù)在一定的范圍內(nèi)，誤判率的大小仍然是可控的。
　　 在系統(tǒng)的性能改進模塊，定義了一種數(shù)據(jù)結(jié)構(gòu)——目錄層級哈希樹，使用該數(shù)據(jù)結(jié)構(gòu)對待備份目錄樹進行判重剪枝，以縮短備份時間。對系統(tǒng)的服務(wù)器端加入了分布