虛擬機(jī)鏡像文件去重技術(shù)研究.pdf

1、虛擬機(jī)技術(shù)和虛擬計(jì)算環(huán)境是計(jì)算機(jī)科學(xué)近年來最矚目的成就之一，虛擬機(jī)鏡像文件作為其存儲與傳輸?shù)妮d體，將內(nèi)容用某一種特定的文件格式進(jìn)行存儲，為云計(jì)算帶來了極高的便捷性。但隨著用戶創(chuàng)建“一次性”虛擬機(jī)數(shù)量的增加，云平臺中虛擬機(jī)鏡像文件數(shù)量也隨之驟增，產(chǎn)生的冗余數(shù)據(jù)為云計(jì)算供應(yīng)商帶來了巨大挑戰(zhàn)，因此對虛擬機(jī)鏡像文件進(jìn)行重復(fù)數(shù)據(jù)刪除十分必要。
　　既有文獻(xiàn)在對相同虛擬機(jī)鏡像文件的去重研究中，在去重粒度的選擇與劃分上存在一定的不足，即利用Ha

2、sh在文件級層面進(jìn)行數(shù)據(jù)去重，而忽略了虛擬機(jī)鏡像文件之間的相似性，因此對于相似的虛擬機(jī)鏡像文件的研究還屬空白。為了解決這一問題本文提出、設(shè)計(jì)并實(shí)現(xiàn)基于SimHash的不同粒度分級去重方案，解決了相似虛擬機(jī)鏡像文件去重問題，達(dá)到了提高存儲空間利用率，節(jié)省網(wǎng)絡(luò)帶寬的目的。
　　論文的主要內(nèi)容如下:
　　(1)對虛擬機(jī)鏡像文件以及鏡像文件格式和虛擬機(jī)鏡像文件的相似性做了詳細(xì)的分析，分析結(jié)果表明虛擬機(jī)鏡像文件的格式與數(shù)據(jù)冗余有密切的

3、聯(lián)系，同一格式的鏡像文件之間存在超過60％的相似數(shù)據(jù)，證明研究相同鏡像文件以及相似鏡像文件重復(fù)數(shù)據(jù)刪除的必要性。
　　(2)設(shè)計(jì)并實(shí)現(xiàn)了一種基于SimHash算法的虛擬機(jī)鏡像文件分級重復(fù)數(shù)據(jù)刪除方案。該方案利用固定尺寸的分塊技術(shù)將鏡像文件分割成若干數(shù)據(jù)塊，使用改進(jìn)后的SimHash函數(shù)計(jì)算其SimHash值并作為唯一標(biāo)識，預(yù)傳SimHashID來減少網(wǎng)絡(luò)傳輸開銷，對文件進(jìn)行相似性對比實(shí)現(xiàn)分級去重，第一級以文件為對象，第二級以數(shù)據(jù)塊