應用感知的重復數(shù)據(jù)刪除關(guān)鍵技術(shù)研究.pdf

1、隨著數(shù)據(jù)的爆炸式增長，我們現(xiàn)在正處于大數(shù)據(jù)時代。一個亟待解決的問題是盡力提高大數(shù)據(jù)
　　管理和分析的操作效率。在這種情況下，重復數(shù)據(jù)刪除技術(shù)被廣泛被應用到各種領(lǐng)域中，包括數(shù)據(jù)存儲系統(tǒng)、數(shù)據(jù)備份系統(tǒng)、數(shù)據(jù)容災、醫(yī)療等等，甚至向通信領(lǐng)域進行延伸。
　　本文對重復數(shù)據(jù)刪除系統(tǒng)的幾項關(guān)鍵技術(shù)進行了分析和研究，并針對重復數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化提出了新的系統(tǒng)設計和相關(guān)算法。本文的主要創(chuàng)新包括以下幾項內(nèi)容：
　?。?）提出了一種基于

2、應用感知的重復數(shù)據(jù)預測機制。重復數(shù)據(jù)預測技術(shù)能夠在執(zhí)行重復數(shù)據(jù)刪除之前，讓用戶了解重復數(shù)據(jù)刪除系統(tǒng)的效用，為用戶需要的存儲系統(tǒng)空間大小提供參考。相比于現(xiàn)有的重復數(shù)據(jù)刪除技術(shù)，應用感知的重復數(shù)據(jù)預測技術(shù)能夠進一步減小預測索引表的大小,進一步提升了預測算法的性能。
　?。?）提出一種索引表的自適應更新算法。以往的重復數(shù)據(jù)預測算法只能夠根據(jù)固定的索引表項，預測數(shù)據(jù)集內(nèi)部或數(shù)據(jù)集與存儲系統(tǒng)之間的數(shù)據(jù)相似率。索引表自適應更新算法根據(jù)訪問數(shù)據(jù)

3、塊的相關(guān)信息，不斷更新索引表，能夠同時考慮數(shù)據(jù)內(nèi)部的冗余度和數(shù)據(jù)與存儲系統(tǒng)中數(shù)據(jù)的冗余度，提高了重復數(shù)據(jù)預測算法的準確性。
　　（3）對重復數(shù)據(jù)刪除系統(tǒng)中的磁盤索引瓶頸問題進行優(yōu)化，提出了一種基于熱點數(shù)據(jù)識別的Cache替換算法。我們通過研究發(fā)現(xiàn)數(shù)據(jù)中重復次數(shù)較多的數(shù)據(jù)占數(shù)據(jù)總數(shù)的較大部分，我們稱之為數(shù)據(jù)的重復性特征。利用數(shù)據(jù)的重復性特征，基于熱點數(shù)據(jù)識別的Cache替換算法能夠獲得更高的Cache命中率，減少磁盤的讀寫次數(shù)，降低