重復數據刪除中智能預取算法設計與分析.pdf

1、在大數據存儲研究領域中，數據存儲與維護是一個具有挑戰(zhàn)性的研究課題。由于數據量爆炸式增長，導致數據中心的數據規(guī)模龐大且冗余度高，不僅耗費巨大的存儲空間和能耗，而且數據管理的復雜程度和存儲風險也急劇提高。為了減輕數據存儲負擔和提高數據存儲效率，重復數據刪除技術成為了近年來存儲技術研究的焦點之一。
　　在重復數據刪除技術中，主要存在兩方面的問題：1、指紋索引造成的磁盤瓶頸問題。2、數據碎片化嚴重降低恢復性能。因此，本文將利用強化學習和模

2、式匹配的方法分別解決這兩個問題。具體研究內容如下：
　　1)提出了一種基于強化學習的指紋索引預取算法。首先，利用數據流的上下文信息，提取數據流分段的特征；然后，通過選擇適當的反饋機制，建立特征和數據流分段的映射關聯關系，構建高效的索引結構；其后，用強化學習訓練數據段之間的相似性，用分數表示；對每一個新的數據段，用多臂老虎機模型對當前反饋最好的數據分段和未知的分段進行權衡比較，動態(tài)的選擇一個數據段進行預取；進一步研究優(yōu)化數據分段的緩

3、存機制，設計緩存算法。最后在4個數據集上驗證了本方法的有效性，實驗結果表明本文的方法大大減少了內存開銷且實現了有效重刪。
　　2)提出了一種基于模式匹配優(yōu)化數據恢復的算法。首先研究了重刪之后數據存儲碎片化的分布特性，分析數據恢復過程的數據讀性能；然后利用模式匹配思想，將局部相關聯的數據塊識別出來，計算最長公共子序列形成連續(xù)模式的磁盤讀取操作，減少磁盤隨機讀次數；再利用雙循環(huán)緩沖設計最大化模式匹配算法，優(yōu)化調度合并讀操作，從而加速數