云網(wǎng)關(guān)上重復(fù)數(shù)據(jù)刪除的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的發(fā)展,海量數(shù)據(jù)的存儲(chǔ)傳輸成為目前必須解決的一個(gè)重要問題。云存儲(chǔ)為海量數(shù)據(jù)的存儲(chǔ)提供了很好的解決方案,但是缺乏標(biāo)準(zhǔn)化的云存儲(chǔ)應(yīng)用程序編程接口,極大的限制了云存儲(chǔ)的應(yīng)用。
　　缺乏標(biāo)準(zhǔn)化的云存儲(chǔ)應(yīng)用程序編程接口使云網(wǎng)關(guān)成為云存儲(chǔ)必不可少的重要組成部分,云網(wǎng)關(guān)已經(jīng)成為應(yīng)用和云提供商應(yīng)用程序編程接口之間協(xié)議的翻譯,但是由于云網(wǎng)關(guān)很少支持企業(yè)級(jí)的其它服務(wù),限制了它的應(yīng)用范圍,目前大部分被用于歸檔和備份。云網(wǎng)關(guān)的問題在于它增加了

2、云存儲(chǔ)的復(fù)雜性及限制了云存儲(chǔ)的性能,所以從性能及簡潔性角度來看,它并不適合作為理想的主要應(yīng)用。
　　針對(duì)備份歸檔文件中的高冗余問題,云網(wǎng)關(guān)上設(shè)計(jì)實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除功能,能為云網(wǎng)關(guān)與云平臺(tái)間的通信減少網(wǎng)絡(luò)帶寬同時(shí)減小數(shù)據(jù)在云平臺(tái)上的存儲(chǔ)容量。云網(wǎng)關(guān)上的重復(fù)數(shù)據(jù)刪除功能的設(shè)計(jì)與實(shí)現(xiàn)主要包括在云網(wǎng)關(guān)上對(duì)文件分塊,將分塊文件計(jì)算數(shù)據(jù)指紋,將數(shù)據(jù)指紋與哈希表中指紋進(jìn)行比對(duì),丟棄重復(fù)數(shù)據(jù),將文件信息和非重復(fù)的數(shù)據(jù)分離獨(dú)立保存在Swift云平臺(tái)上