HTDRDedu：一個(gè)分布式備份數(shù)據(jù)去重系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)備份作為保證數(shù)據(jù)安全的重要手段，無論是個(gè)人、組織或是企業(yè)都需要用其來保護(hù)自己的數(shù)據(jù)。近年來基于數(shù)據(jù)去重技術(shù)的傳統(tǒng)去重?cái)?shù)據(jù)備份系統(tǒng)在減小存儲空間開銷方面成果顯著，但隨著大數(shù)據(jù)時(shí)代的來臨，全球數(shù)據(jù)量急速增加，這使得傳統(tǒng)的數(shù)據(jù)去重系統(tǒng)面臨了新的挑戰(zhàn)，一方面，大數(shù)據(jù)帶來的對存儲空間需求的不斷增大，從而導(dǎo)致了存儲費(fèi)用也節(jié)節(jié)攀升;另一方面，海量數(shù)據(jù)的出現(xiàn)也對數(shù)據(jù)處理速度提出了更高要求，即數(shù)據(jù)處理的時(shí)間盡量短，這需要更大的數(shù)據(jù)吞吐量。本文針對這些

2、挑戰(zhàn)，提出了一個(gè)基于數(shù)據(jù)路由功能的分布式備份數(shù)據(jù)去重系統(tǒng)——HTDRDedu，包括文件管理和數(shù)據(jù)去重存儲兩大部分。
　　文件管理主要負(fù)責(zé)系統(tǒng)與用戶的交互和文件數(shù)據(jù)管理。系統(tǒng)為用戶提供文件操作的接口，包括文件的提交和取回。系統(tǒng)要對用戶提交的文件做相關(guān)操作，包括文件數(shù)據(jù)片分割、數(shù)據(jù)片指紋計(jì)算（哈希碼計(jì)算）、數(shù)據(jù)片組路由與傳輸和文件元數(shù)據(jù)管理等操作。為了提高數(shù)據(jù)處理效率，文件管理本身也設(shè)計(jì)了一部分?jǐn)?shù)據(jù)去重功能。文件管理使用了Rabin

3、fingerprint、布隆過濾器等技術(shù)。
　　數(shù)據(jù)去重存儲負(fù)責(zé)對到達(dá)的待處理數(shù)據(jù)片組中的數(shù)據(jù)片做最終查詢，確保已有副本存在的數(shù)據(jù)片被去除。數(shù)據(jù)去重存儲同時(shí)具有預(yù)取數(shù)據(jù)片哈希碼的功能，數(shù)據(jù)片預(yù)取包括平均取樣和近鄰取樣兩種方法，前者用于預(yù)取數(shù)據(jù)給文件管理的數(shù)據(jù)路由功能，后者用于預(yù)取數(shù)據(jù)給文件管理的數(shù)據(jù)去重功能。最后數(shù)據(jù)去重存還負(fù)責(zé)用戶文件的恢復(fù)，用戶取得元數(shù)據(jù)文件并自行解析后，將每個(gè)數(shù)據(jù)片組從所存儲的去重存儲節(jié)點(diǎn)取回恢復(fù)文。