基于在線重復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息化高度發(fā)展的今天，人們對(duì)數(shù)據(jù)的依賴越來越大，信息技術(shù)已經(jīng)從以計(jì)算為中心轉(zhuǎn)化為以數(shù)據(jù)為中心。2011年2月，IDC發(fā)布了最新的《企業(yè)級(jí)外部存儲(chǔ)市場(chǎng)季度跟蹤報(bào)告》，報(bào)告指出到2020年全球產(chǎn)生的信息總量將達(dá)到35ZB（1ZB=1000EB=100萬(wàn)PB=10億TB），而2010年這一數(shù)字卻僅為1.2ZB。數(shù)據(jù)的爆炸性增長(zhǎng)，也引起業(yè)界和學(xué)術(shù)界越來越大的關(guān)注。爆炸性增長(zhǎng)的數(shù)據(jù)中，充斥著大量重復(fù)的數(shù)據(jù)。重復(fù)數(shù)據(jù)刪除技術(shù)便成為數(shù)據(jù)存儲(chǔ)領(lǐng)域中一個(gè)

2、重要的研究熱點(diǎn)。根據(jù)數(shù)據(jù)集的不同，重復(fù)數(shù)據(jù)刪除技術(shù)可以將存儲(chǔ)壓縮為原來的1\8-1\500，被廣泛應(yīng)用于數(shù)據(jù)備份領(lǐng)域。
　　云計(jì)算將虛擬化的資源通過互聯(lián)網(wǎng)以服務(wù)的形式提供。其中IaaS服務(wù)層通過虛擬機(jī)向外提供服務(wù)，虛擬機(jī)配置和安裝內(nèi)容的區(qū)別導(dǎo)致虛擬機(jī)鏡像數(shù)量龐大。本文在閱讀國(guó)內(nèi)外文獻(xiàn)基礎(chǔ)上，研究了重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)和鏡像重刪的特點(diǎn)。針對(duì)開源云平臺(tái)Openstack鏡像管理系統(tǒng)在鏡像存儲(chǔ)和鏡像傳輸中的不足，設(shè)計(jì)并實(shí)現(xiàn)了基于在線重

3、復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)。本文的主要工作總結(jié)如下：
　　（1）研究了重復(fù)數(shù)據(jù)刪技術(shù)和云計(jì)算。其中，對(duì)文件切塊方式和內(nèi)存指紋索引技術(shù)作了深入研究，主要關(guān)注兩個(gè)問題：文件格式和切分方式的聯(lián)系與內(nèi)存指紋索引技術(shù)，其中包括稀疏矩陣索引和布隆過濾器。
　?。?）設(shè)計(jì)并實(shí)現(xiàn)基于在線重復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)IM-Dedup system。該系統(tǒng)利用靜態(tài)分塊技術(shù)進(jìn)行文件分成若干數(shù)據(jù)塊，使用指紋預(yù)

4、傳輸技術(shù)避免重復(fù)數(shù)據(jù)塊的網(wǎng)絡(luò)傳輸，在鏡像存儲(chǔ)端部署帶重復(fù)數(shù)據(jù)刪除功能的核心態(tài)文件系統(tǒng)以減少存儲(chǔ)空間，使用內(nèi)存過濾器減少磁盤索引次數(shù)，指紋存儲(chǔ)區(qū)的集中可以提高數(shù)據(jù)讀取的局部性，使用有限的內(nèi)存占用率達(dá)到了較高的IO吞吐率。其創(chuàng)新點(diǎn)在于，提出了一種雙重的在線重復(fù)數(shù)據(jù)刪除方法，并且實(shí)現(xiàn)了雙重在線重復(fù)數(shù)據(jù)刪除鏡像管理系統(tǒng)，不僅在鏡像傳輸上使用了重復(fù)數(shù)據(jù)刪除技術(shù)，在鏡像存儲(chǔ)環(huán)節(jié)也使用重復(fù)數(shù)據(jù)刪除技術(shù)，達(dá)到存儲(chǔ)使用量和帶寬消耗同時(shí)減小的目的。

5、　　（3）搭建實(shí)驗(yàn)平臺(tái)，并對(duì)IM-dedup鏡像管理系統(tǒng)進(jìn)行實(shí)驗(yàn)評(píng)測(cè)。對(duì)其重復(fù)數(shù)據(jù)刪除率，鏡像上傳時(shí)耗，鏡像恢復(fù)時(shí)耗進(jìn)行實(shí)驗(yàn)，并與原有系統(tǒng)進(jìn)行對(duì)比。此外，本文參照亞馬遜S3存儲(chǔ)平臺(tái)的計(jì)費(fèi)模型，對(duì)IM-Dedup鏡像管理系統(tǒng)的花銷作定量分析，并與原有的鏡像管理系統(tǒng)作對(duì)比，進(jìn)一步顯示了IM-Dedup鏡像管理系統(tǒng)優(yōu)越的經(jīng)濟(jì)性。
　?。?）對(duì)在研究與開發(fā)IM-dedup鏡像管理系統(tǒng)上所做的主要工作和貢獻(xiàn)進(jìn)行了總結(jié)，并提出了對(duì)IM-ded