應(yīng)用感知的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究.pdf

1、隨著數(shù)據(jù)的爆炸式增長，我們現(xiàn)在正處于大數(shù)據(jù)時代。一個亟待解決的問題是盡力提高大數(shù)據(jù)
　　管理和分析的操作效率。在這種情況下，重復(fù)數(shù)據(jù)刪除技術(shù)被廣泛被應(yīng)用到各種領(lǐng)域中，包括數(shù)據(jù)存儲系統(tǒng)、數(shù)據(jù)備份系統(tǒng)、數(shù)據(jù)容災(zāi)、醫(yī)療等等，甚至向通信領(lǐng)域進(jìn)行延伸。
　　本文對重復(fù)數(shù)據(jù)刪除系統(tǒng)的幾項關(guān)鍵技術(shù)進(jìn)行了分析和研究，并針對重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化提出了新的系統(tǒng)設(shè)計和相關(guān)算法。本文的主要創(chuàng)新包括以下幾項內(nèi)容：
　?。?）提出了一種基于

2、應(yīng)用感知的重復(fù)數(shù)據(jù)預(yù)測機(jī)制。重復(fù)數(shù)據(jù)預(yù)測技術(shù)能夠在執(zhí)行重復(fù)數(shù)據(jù)刪除之前，讓用戶了解重復(fù)數(shù)據(jù)刪除系統(tǒng)的效用，為用戶需要的存儲系統(tǒng)空間大小提供參考。相比于現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)，應(yīng)用感知的重復(fù)數(shù)據(jù)預(yù)測技術(shù)能夠進(jìn)一步減小預(yù)測索引表的大小,進(jìn)一步提升了預(yù)測算法的性能。
　?。?）提出一種索引表的自適應(yīng)更新算法。以往的重復(fù)數(shù)據(jù)預(yù)測算法只能夠根據(jù)固定的索引表項，預(yù)測數(shù)據(jù)集內(nèi)部或數(shù)據(jù)集與存儲系統(tǒng)之間的數(shù)據(jù)相似率。索引表自適應(yīng)更新算法根據(jù)訪問數(shù)據(jù)

3、塊的相關(guān)信息，不斷更新索引表，能夠同時考慮數(shù)據(jù)內(nèi)部的冗余度和數(shù)據(jù)與存儲系統(tǒng)中數(shù)據(jù)的冗余度，提高了重復(fù)數(shù)據(jù)預(yù)測算法的準(zhǔn)確性。
　?。?）對重復(fù)數(shù)據(jù)刪除系統(tǒng)中的磁盤索引瓶頸問題進(jìn)行優(yōu)化，提出了一種基于熱點數(shù)據(jù)識別的Cache替換算法。我們通過研究發(fā)現(xiàn)數(shù)據(jù)中重復(fù)次數(shù)較多的數(shù)據(jù)占數(shù)據(jù)總數(shù)的較大部分，我們稱之為數(shù)據(jù)的重復(fù)性特征。利用數(shù)據(jù)的重復(fù)性特征，基于熱點數(shù)據(jù)識別的Cache替換算法能夠獲得更高的Cache命中率，減少磁盤的讀寫次數(shù)，降低