面向歸檔存儲(chǔ)的重復(fù)數(shù)據(jù)刪除優(yōu)化方法研究.pdf

1、隨著社會(huì)信息化水平的提高,數(shù)據(jù)變得越來越重要。與此同時(shí),企業(yè)數(shù)據(jù)中心的存儲(chǔ)需求量呈爆炸式增長(zhǎng)。目前的存儲(chǔ)系統(tǒng)主要是從數(shù)據(jù)的讀寫性能和可靠性方面進(jìn)行設(shè)計(jì),忽略了數(shù)據(jù)之間的關(guān)聯(lián)和冗余特性。這不僅造成了存儲(chǔ)空間的浪費(fèi),也使得用戶難以對(duì)數(shù)量龐大、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)進(jìn)行有效的管理。針對(duì)此,近年來出現(xiàn)了重復(fù)數(shù)據(jù)刪除技術(shù)(De-duplication)。
　　在分析重復(fù)數(shù)據(jù)刪除系統(tǒng)中元數(shù)據(jù)訪問、查詢特性和數(shù)據(jù)的布局及讀寫特性的基礎(chǔ)上,給出了一種元數(shù)

2、據(jù)與數(shù)據(jù)分離的重復(fù)數(shù)據(jù)刪除系統(tǒng)架構(gòu)方案:(1)采用由客戶端、元數(shù)據(jù)服務(wù)器和存儲(chǔ)節(jié)點(diǎn)構(gòu)成的三方架構(gòu);(2)將元數(shù)據(jù)訪問分離到客戶端與元數(shù)據(jù)服務(wù)器間,將文件內(nèi)容訪問分離到客戶端與存儲(chǔ)節(jié)點(diǎn)間,從而該方案具有高可擴(kuò)展性和高訪問并發(fā)性。在去重功能上,(1)采用固定分塊的數(shù)據(jù)劃分方法,使用哈希算法MD5、SHA-1等作為數(shù)據(jù)分塊的哈希指紋;(2)使用兩層BloomFilter對(duì)數(shù)據(jù)分塊的哈希指紋進(jìn)行快速判別和過濾,并使用B+樹索引結(jié)構(gòu)作為哈希指紋元

3、數(shù)據(jù)的持久化存儲(chǔ)方案。為了進(jìn)一步優(yōu)化I/O性能,(1)采用按照數(shù)據(jù)流分區(qū)域存儲(chǔ)的數(shù)據(jù)布局策略,獲得數(shù)據(jù)訪問的空間局部性;(2)結(jié)合客戶端元數(shù)據(jù)及數(shù)據(jù)緩存機(jī)制,提高文件訪問的緩存命中率和文件讀寫的性能。
　　最后,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)三方架構(gòu)的重復(fù)數(shù)據(jù)刪除系統(tǒng)原型,在系統(tǒng)原型之上進(jìn)行了功能和性能測(cè)試。功能測(cè)試結(jié)果表明,上述重復(fù)數(shù)據(jù)刪除方案在虛擬機(jī)鏡像的測(cè)試集下能獲得130％的數(shù)據(jù)壓縮率;性能測(cè)試結(jié)果表明,緩存機(jī)制可以提高文件訪問的性能;