重復數(shù)據(jù)刪除技術的研究與實現(xiàn).pdf

1、隨著信息數(shù)字化的快速發(fā)展與生產(chǎn)力的突飛猛進，當今企業(yè)對信息的存儲需求也在飛速增長。盡管存儲設備的銷售價格在不斷地下降，但遠遠趕不上企業(yè)內(nèi)部產(chǎn)生和需要保存數(shù)據(jù)的攀升速度。重復數(shù)據(jù)刪除技術能夠刪除重復的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的唯一實例存儲，將有望解決該問題。該技術一般應用在備份、歸檔等集中式數(shù)據(jù)存儲的系統(tǒng)中，能有效地節(jié)省存儲空間和網(wǎng)絡的傳輸帶寬。
　　 目前，對文件或數(shù)據(jù)流中重復數(shù)據(jù)的查找效率始終是重復數(shù)據(jù)刪除技術應用的瓶頸，為此重點對提高

2、重復數(shù)據(jù)的查找效率進行了研究，并將重復數(shù)據(jù)刪除技術融合到數(shù)據(jù)備份領域?qū)崿F(xiàn)了高效的、穩(wěn)定的數(shù)據(jù)容災備份系統(tǒng)，它可以為數(shù)據(jù)提供安全的存儲服務。該系統(tǒng)運用了多項技術來提高數(shù)據(jù)的備份和恢復性能：元數(shù)據(jù)的多級查詢機制、數(shù)據(jù)緩存機制和多線程技術。元數(shù)據(jù)的多級查詢機制通過使用全局Bloom Filter、二級索引緩存和磁盤哈希表來提高對重復數(shù)據(jù)的查找速度；數(shù)據(jù)緩存機制則通過對數(shù)據(jù)塊的內(nèi)存緩沖，可以避免對磁盤頻繁的I/O操作；多線程技術可以提高系統(tǒng)的并