基于源端重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著信息和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,我們可以從網(wǎng)絡(luò)中獲得各種各樣的信息數(shù)據(jù),不僅提高了我們的工作效率,也可以豐富我們的生活。但人們對信息數(shù)據(jù)存儲和備份的需求急速增長,帶來了信息數(shù)據(jù)量爆炸式地增長,數(shù)據(jù)存儲系統(tǒng)的存儲空間要求越來越大,網(wǎng)絡(luò)帶寬要求越來越高,能源消耗越來越嚴(yán)重,數(shù)據(jù)存儲和管理的成本不斷提高,致使現(xiàn)有數(shù)據(jù)存儲系統(tǒng)面臨著前所未有的壓力和挑戰(zhàn)。
　　盡管數(shù)據(jù)量成倍增加,但研究發(fā)現(xiàn),在現(xiàn)有的存儲系統(tǒng)中的數(shù)據(jù)存在大量的冗余數(shù)據(jù),大約占

2、總信息的60％。因此,為了緩解信息數(shù)據(jù)量增長帶來的巨大壓力,減少冗余數(shù)據(jù),充分利用現(xiàn)有資源,降低數(shù)據(jù)存儲管理成本,近些年提出了重復(fù)數(shù)據(jù)刪除技術(shù),該技術(shù)能夠檢測并去除大量的冗余數(shù)據(jù),優(yōu)化存儲空間和降低網(wǎng)絡(luò)帶寬,而且對重復(fù)數(shù)據(jù)刪除技術(shù)的研究已經(jīng)成為最熱門的研究課題。
　　針對已有的文件備份系統(tǒng),冗余數(shù)據(jù)大量存在、可擴(kuò)展性差、效率低并受限于網(wǎng)絡(luò)帶寬等瓶頸問題,本文提出一種基于源端重復(fù)數(shù)據(jù)刪除技術(shù)的文件備份系統(tǒng),并將重復(fù)數(shù)據(jù)刪除處理模塊放

3、到數(shù)據(jù)備份客戶端,用于實現(xiàn)文件分塊和數(shù)據(jù)去重,不但能去除大量冗余數(shù)據(jù)、增強(qiáng)系統(tǒng)擴(kuò)展性和提高存儲備份效率,而且還能大幅度降低系統(tǒng)需求的網(wǎng)絡(luò)帶寬,實現(xiàn)冗余數(shù)據(jù)刪除過程和數(shù)據(jù)存儲備份過程的分離。
　　此外,在系統(tǒng)中設(shè)計了客戶端指紋庫和引用管理機(jī)制,客戶端指紋庫是總指紋庫的一個較小的子集,服務(wù)器端維持總的數(shù)據(jù)塊指紋庫,這樣可以優(yōu)化數(shù)據(jù)塊指紋查詢過程,提高重復(fù)數(shù)據(jù)塊指紋檢索性能,減少對服務(wù)器的訪問,也進(jìn)一步降低了網(wǎng)絡(luò)帶寬。引用管理器能夠及時