重復數(shù)據(jù)刪除技術研究.pdf

1、云存儲正在因為它的可擴展性、方便性和低成本等諸多優(yōu)點而變得越來越流行。它通過租用基本設施來提供對于文件的服務，包括允許用戶在服務器上存儲文件，同步位于服務器和用戶不同設備上的文件等。在這種場景下，提供服務的物理存儲設備往往是高度集中的。因為集中式存儲通常存在大量的重復數(shù)據(jù)，重復數(shù)據(jù)刪除技術，或者叫做重復數(shù)據(jù)檢測技術，正在變得愈發(fā)的重要。
　　 傳統(tǒng)的重復數(shù)據(jù)刪除技術只是強調(diào)他們在降低存儲空間方面性能，然而作為一個遠程的存儲系統(tǒng)，

2、網(wǎng)絡的開銷也不應該被忽略，特別是當系統(tǒng)是跨越廣域網(wǎng)來部署的。我們提出了一種新的重復數(shù)據(jù)刪除算法，它不但修改了對數(shù)據(jù)索引的方法，并且擁有新的重復數(shù)據(jù)塊匹配的方法。為了檢測新算法的效果，我們實現(xiàn)了一個叫做DDSN的網(wǎng)絡文件系統(tǒng)的原型。我們的新方法在節(jié)省存儲空間上可以達到滑動分塊方法，也就是目前在節(jié)省存儲空間上最優(yōu)的方法，所能達到的效果。與此同時，我們的方法克服了滑動分塊方法需要通過網(wǎng)絡傳輸整個文件的缺點，DDSN可以對于重復數(shù)據(jù)節(jié)省大量的網(wǎng)

3、絡帶寬。另外，針對固定長度的數(shù)據(jù)塊的組織，我們提出了一種新的文件結(jié)構(gòu)。
　　 除此之外，當有文件在一處被更新的時候，最簡單的文件同步方法需要把整個被修改的文件傳輸?shù)狡渌形恢茫ǚ掌?、用戶的其他設備）來替換老版本的文件，這會導致網(wǎng)絡帶寬的大量浪費和更新文件時極大的延遲。我們提出了一種名為HadoopRsync的算法來增量地更新文件而不是傳輸整個文件。新算法是基于被設計用來在兩個機器之間同步文件的Rsync算法，但是不同的是，新

4、算法適用到在云存儲環(huán)境下。在這種環(huán)境下，文件是被分塊地存儲在云中不同的節(jié)點的情況下，因此我們提出了HadoopRsync Upload和HadoopRsync Download這一對算法來分別負責用戶的設備和服務器間雙向的同步文件。HadoopRsync只傳輸新版本文件與老版本文件之間的區(qū)別，而不是傳輸整個文件。我們的算法是運行在開源的分布式處理大數(shù)據(jù)平臺Hadoop上的，新方法利用了Hadoop所提供并行計算模型MapReduce的能