重復(fù)數(shù)據(jù)刪除技術(shù)研究.pdf

1、云存儲(chǔ)正在因?yàn)樗目蓴U(kuò)展性、方便性和低成本等諸多優(yōu)點(diǎn)而變得越來(lái)越流行。它通過(guò)租用基本設(shè)施來(lái)提供對(duì)于文件的服務(wù)，包括允許用戶(hù)在服務(wù)器上存儲(chǔ)文件，同步位于服務(wù)器和用戶(hù)不同設(shè)備上的文件等。在這種場(chǎng)景下，提供服務(wù)的物理存儲(chǔ)設(shè)備往往是高度集中的。因?yàn)榧惺酱鎯?chǔ)通常存在大量的重復(fù)數(shù)據(jù)，重復(fù)數(shù)據(jù)刪除技術(shù)，或者叫做重復(fù)數(shù)據(jù)檢測(cè)技術(shù)，正在變得愈發(fā)的重要。
　　 傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)只是強(qiáng)調(diào)他們?cè)诮档痛鎯?chǔ)空間方面性能，然而作為一個(gè)遠(yuǎn)程的存儲(chǔ)系統(tǒng)，

2、網(wǎng)絡(luò)的開(kāi)銷(xiāo)也不應(yīng)該被忽略，特別是當(dāng)系統(tǒng)是跨越廣域網(wǎng)來(lái)部署的。我們提出了一種新的重復(fù)數(shù)據(jù)刪除算法，它不但修改了對(duì)數(shù)據(jù)索引的方法，并且擁有新的重復(fù)數(shù)據(jù)塊匹配的方法。為了檢測(cè)新算法的效果，我們實(shí)現(xiàn)了一個(gè)叫做DDSN的網(wǎng)絡(luò)文件系統(tǒng)的原型。我們的新方法在節(jié)省存儲(chǔ)空間上可以達(dá)到滑動(dòng)分塊方法，也就是目前在節(jié)省存儲(chǔ)空間上最優(yōu)的方法，所能達(dá)到的效果。與此同時(shí)，我們的方法克服了滑動(dòng)分塊方法需要通過(guò)網(wǎng)絡(luò)傳輸整個(gè)文件的缺點(diǎn)，DDSN可以對(duì)于重復(fù)數(shù)據(jù)節(jié)省大量的網(wǎng)

3、絡(luò)帶寬。另外，針對(duì)固定長(zhǎng)度的數(shù)據(jù)塊的組織，我們提出了一種新的文件結(jié)構(gòu)。
　　 除此之外，當(dāng)有文件在一處被更新的時(shí)候，最簡(jiǎn)單的文件同步方法需要把整個(gè)被修改的文件傳輸?shù)狡渌形恢茫ǚ?wù)器、用戶(hù)的其他設(shè)備）來(lái)替換老版本的文件，這會(huì)導(dǎo)致網(wǎng)絡(luò)帶寬的大量浪費(fèi)和更新文件時(shí)極大的延遲。我們提出了一種名為HadoopRsync的算法來(lái)增量地更新文件而不是傳輸整個(gè)文件。新算法是基于被設(shè)計(jì)用來(lái)在兩個(gè)機(jī)器之間同步文件的Rsync算法，但是不同的是，新

4、算法適用到在云存儲(chǔ)環(huán)境下。在這種環(huán)境下，文件是被分塊地存儲(chǔ)在云中不同的節(jié)點(diǎn)的情況下，因此我們提出了HadoopRsync Upload和HadoopRsync Download這一對(duì)算法來(lái)分別負(fù)責(zé)用戶(hù)的設(shè)備和服務(wù)器間雙向的同步文件。HadoopRsync只傳輸新版本文件與老版本文件之間的區(qū)別，而不是傳輸整個(gè)文件。我們的算法是運(yùn)行在開(kāi)源的分布式處理大數(shù)據(jù)平臺(tái)Hadoop上的，新方法利用了Hadoop所提供并行計(jì)算模型MapReduce的能