針對云存儲網關的重復數據刪除技術的研究與實現.pdf

1、隨著云計算技術的不斷發(fā)展，云存儲以其低廉的價格和海量的存儲空間得到越來越多中小企業(yè)的青睞。由于現有的云存儲服務提供商提供的云存儲接口與企業(yè)本地設備接口之間不統(tǒng)一，給企業(yè)應用云存儲服務增加了使用成本。云存儲網關的出現，彌補了這一差異。現有的云存儲服務大多是按照容量和流量進行計費，而在企業(yè)的主存儲、備份和歸檔系統(tǒng)中存在大量的重復數據，造成了云存儲資源的浪費。
　　根據云存儲網關中數據的存儲特點，提出了在云存儲網關中采用重復數據刪除技術

2、的設計和實現方案，將重復數據在云網關內部進行縮減。首先根據數據相似性算法查找相似數據集，縮小數據檢索范圍，再在相似數據集中進行相同數據匹配。去重后的數據被保存成固定大小的小文件，減少本地與云存儲之間的傳輸延時。對于映射表的存儲，設計了基于“內存—磁盤”的兩級映射表管理方案，并提出了一種映射表及數據的緩存優(yōu)化方法。通過采用緩存的主動寫回和被動換出機制延緩數據寫入磁盤的時間，盡可能地將目標文件相同的數據一次寫回，同時根據映射表及數據的局部性

3、特點將相關數據組織在一起。對于數據塊的預取，采用了基于命中效果的緩存策略，提高緩存空間的利用率。為了減少內存開銷，提出了改進的區(qū)間紅黑樹結構，并對基于區(qū)間的查找及切分方法進行了討論。在系統(tǒng)中，還采用了一些工程優(yōu)化的方法，進一步提高重復數據刪除的性能。
　　最后對重復數據刪除系統(tǒng)進行了相關測試。首先對所使用的哈希函數進行了測試，測試結果表明，一種公共域非加密哈希函數的計算性能遠遠優(yōu)于其他哈希函數。然后對相似性數據劃分的去重效果進行了