應用感知的重復數(shù)據刪除關鍵技術研究.pdf

1、隨著數(shù)據的爆炸式增長，我們現(xiàn)在正處于大數(shù)據時代。一個亟待解決的問題是盡力提高大數(shù)據
　　管理和分析的操作效率。在這種情況下，重復數(shù)據刪除技術被廣泛被應用到各種領域中，包括數(shù)據存儲系統(tǒng)、數(shù)據備份系統(tǒng)、數(shù)據容災、醫(yī)療等等，甚至向通信領域進行延伸。
　　本文對重復數(shù)據刪除系統(tǒng)的幾項關鍵技術進行了分析和研究，并針對重復數(shù)據刪除系統(tǒng)的性能優(yōu)化提出了新的系統(tǒng)設計和相關算法。本文的主要創(chuàng)新包括以下幾項內容：
　?。?）提出了一種基于

2、應用感知的重復數(shù)據預測機制。重復數(shù)據預測技術能夠在執(zhí)行重復數(shù)據刪除之前，讓用戶了解重復數(shù)據刪除系統(tǒng)的效用，為用戶需要的存儲系統(tǒng)空間大小提供參考。相比于現(xiàn)有的重復數(shù)據刪除技術，應用感知的重復數(shù)據預測技術能夠進一步減小預測索引表的大小,進一步提升了預測算法的性能。
　?。?）提出一種索引表的自適應更新算法。以往的重復數(shù)據預測算法只能夠根據固定的索引表項，預測數(shù)據集內部或數(shù)據集與存儲系統(tǒng)之間的數(shù)據相似率。索引表自適應更新算法根據訪問數(shù)據

3、塊的相關信息，不斷更新索引表，能夠同時考慮數(shù)據內部的冗余度和數(shù)據與存儲系統(tǒng)中數(shù)據的冗余度，提高了重復數(shù)據預測算法的準確性。
　?。?）對重復數(shù)據刪除系統(tǒng)中的磁盤索引瓶頸問題進行優(yōu)化，提出了一種基于熱點數(shù)據識別的Cache替換算法。我們通過研究發(fā)現(xiàn)數(shù)據中重復次數(shù)較多的數(shù)據占數(shù)據總數(shù)的較大部分，我們稱之為數(shù)據的重復性特征。利用數(shù)據的重復性特征，基于熱點數(shù)據識別的Cache替換算法能夠獲得更高的Cache命中率，減少磁盤的讀寫次數(shù)，降低