云存儲中集群重復數(shù)據(jù)刪除系統(tǒng)的研究與設計.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)已呈爆炸式的增長，海量數(shù)據(jù)的存儲已成為數(shù)據(jù)中心的首要問題，重復數(shù)據(jù)大量存在于信息處理與存儲的各個環(huán)節(jié)中，如文件系統(tǒng)、郵件附件、web對象以及操作系統(tǒng)與應用軟件中。傳統(tǒng)的數(shù)據(jù)保護技術如周期備份、版本控制、快照等更是加速了重復數(shù)據(jù)的增長，導致網(wǎng)絡帶寬與存儲資源的消耗以及存儲成本的增加。為了提高存儲資源利用率，降低數(shù)據(jù)管理成本，重復數(shù)據(jù)刪除技術的提出與應用已經(jīng)成為目前企業(yè)與數(shù)據(jù)中心的研究熱點。
　　云存儲服務具

2、有高可靠性、高通用性、高擴展性及大容量存儲等特點，因此對云存儲技術的研究不僅緊跟IT技術發(fā)展的趨勢，而且具有較高的應用價值。在云存儲環(huán)境中構建大規(guī)模、高性能、分布式重刪系統(tǒng)，具有很大的優(yōu)勢與挑戰(zhàn)。本文在云存儲環(huán)境中設計了一套在線的集群重刪系統(tǒng)架構，并在數(shù)據(jù)路由問題、索引查詢優(yōu)化問題等方面進行了相關研究，主要完成工作有:
　　(1)基于開源的HDFS分布式文件系統(tǒng)，以集群重復數(shù)據(jù)刪除技術為基礎，設計并實現(xiàn)了具有重復數(shù)據(jù)刪除功能的分布

3、式文件系統(tǒng)H-Dedup。根據(jù)重復數(shù)據(jù)刪除技術的特征，合理設計系統(tǒng)架構與軟件功能模塊，使得重復數(shù)據(jù)刪除技術有效融入集群存儲架構中。
　　(2)設計面向重刪的局部相似路由算法，基于數(shù)據(jù)相似理論，以超塊粒度為路由單位，并對超塊進行采樣，選取少量特征指紋，以有狀態(tài)路由方式進行路由匹配，減少網(wǎng)絡帶寬消耗，快速定位存儲位置。使得分布式存儲系統(tǒng)在保持較高的存儲性能以及吞吐率的同時，快速定位存儲節(jié)點并取得較高的數(shù)據(jù)去重率。
　　(3)為了