基于在線重復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、信息化高度發(fā)展的今天，人們對數(shù)據(jù)的依賴越來越大，信息技術(shù)已經(jīng)從以計算為中心轉(zhuǎn)化為以數(shù)據(jù)為中心。2011年2月，IDC發(fā)布了最新的《企業(yè)級外部存儲市場季度跟蹤報告》，報告指出到2020年全球產(chǎn)生的信息總量將達到35ZB（1ZB=1000EB=100萬PB=10億TB），而2010年這一數(shù)字卻僅為1.2ZB。數(shù)據(jù)的爆炸性增長，也引起業(yè)界和學(xué)術(shù)界越來越大的關(guān)注。爆炸性增長的數(shù)據(jù)中，充斥著大量重復(fù)的數(shù)據(jù)。重復(fù)數(shù)據(jù)刪除技術(shù)便成為數(shù)據(jù)存儲領(lǐng)域中一個

2、重要的研究熱點。根據(jù)數(shù)據(jù)集的不同，重復(fù)數(shù)據(jù)刪除技術(shù)可以將存儲壓縮為原來的1\8-1\500，被廣泛應(yīng)用于數(shù)據(jù)備份領(lǐng)域。
　　云計算將虛擬化的資源通過互聯(lián)網(wǎng)以服務(wù)的形式提供。其中IaaS服務(wù)層通過虛擬機向外提供服務(wù)，虛擬機配置和安裝內(nèi)容的區(qū)別導(dǎo)致虛擬機鏡像數(shù)量龐大。本文在閱讀國內(nèi)外文獻基礎(chǔ)上，研究了重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)和鏡像重刪的特點。針對開源云平臺Openstack鏡像管理系統(tǒng)在鏡像存儲和鏡像傳輸中的不足，設(shè)計并實現(xiàn)了基于在線重

3、復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)。本文的主要工作總結(jié)如下：
　?。?）研究了重復(fù)數(shù)據(jù)刪技術(shù)和云計算。其中，對文件切塊方式和內(nèi)存指紋索引技術(shù)作了深入研究，主要關(guān)注兩個問題：文件格式和切分方式的聯(lián)系與內(nèi)存指紋索引技術(shù)，其中包括稀疏矩陣索引和布隆過濾器。
　?。?）設(shè)計并實現(xiàn)基于在線重復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)IM-Dedup system。該系統(tǒng)利用靜態(tài)分塊技術(shù)進行文件分成若干數(shù)據(jù)塊，使用指紋預(yù)

4、傳輸技術(shù)避免重復(fù)數(shù)據(jù)塊的網(wǎng)絡(luò)傳輸，在鏡像存儲端部署帶重復(fù)數(shù)據(jù)刪除功能的核心態(tài)文件系統(tǒng)以減少存儲空間，使用內(nèi)存過濾器減少磁盤索引次數(shù)，指紋存儲區(qū)的集中可以提高數(shù)據(jù)讀取的局部性，使用有限的內(nèi)存占用率達到了較高的IO吞吐率。其創(chuàng)新點在于，提出了一種雙重的在線重復(fù)數(shù)據(jù)刪除方法，并且實現(xiàn)了雙重在線重復(fù)數(shù)據(jù)刪除鏡像管理系統(tǒng)，不僅在鏡像傳輸上使用了重復(fù)數(shù)據(jù)刪除技術(shù)，在鏡像存儲環(huán)節(jié)也使用重復(fù)數(shù)據(jù)刪除技術(shù)，達到存儲使用量和帶寬消耗同時減小的目的。

5、　?。?）搭建實驗平臺，并對IM-dedup鏡像管理系統(tǒng)進行實驗評測。對其重復(fù)數(shù)據(jù)刪除率，鏡像上傳時耗，鏡像恢復(fù)時耗進行實驗，并與原有系統(tǒng)進行對比。此外，本文參照亞馬遜S3存儲平臺的計費模型，對IM-Dedup鏡像管理系統(tǒng)的花銷作定量分析，并與原有的鏡像管理系統(tǒng)作對比，進一步顯示了IM-Dedup鏡像管理系統(tǒng)優(yōu)越的經(jīng)濟性。
　　（4）對在研究與開發(fā)IM-dedup鏡像管理系統(tǒng)上所做的主要工作和貢獻進行了總結(jié)，并提出了對IM-ded