基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)和各種新興網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展，電子數(shù)據(jù)量增長迅猛，這些海量數(shù)據(jù)的存儲和備份使得存儲需求呈指數(shù)增長，數(shù)據(jù)中心的存儲規(guī)模在迅速向PB級別甚至EB級別發(fā)展。研究表明，各種應(yīng)用系統(tǒng)中存儲的電子數(shù)據(jù)平均存在大約60％的重復(fù)數(shù)據(jù)，并且隨著時間的推移不斷增長。例如辦公自動化系統(tǒng)、歸檔存儲系統(tǒng)、群發(fā)郵件及附件、Web頁面和軟件版本發(fā)布中都存在大量的重復(fù)數(shù)據(jù)，周期性的備份更是加速了重復(fù)數(shù)據(jù)的增長。這些重復(fù)數(shù)據(jù)的多次存儲和傳送消耗了大量寶貴的存

2、儲和帶寬資源，極大地增加了數(shù)據(jù)管理成本。因此，如何利用重復(fù)數(shù)據(jù)消除技術(shù)優(yōu)化資源的利用率，降低數(shù)據(jù)管理的開銷，已經(jīng)成為了備份存儲領(lǐng)域的一個熱點(diǎn)研究課題。
　　對基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)備份系統(tǒng)而言，在提高數(shù)據(jù)壓縮性能的同時，還應(yīng)該保證系統(tǒng)具有良好的安全性和吞吐量性能。因此，本論文的研究工作針對現(xiàn)有方法存在的不足，著眼于提高相同數(shù)據(jù)檢測方法的壓縮性能、提高線性Delta鏈的數(shù)據(jù)恢復(fù)性能、提高重復(fù)數(shù)據(jù)消除系統(tǒng)的數(shù)據(jù)安全性、提高重復(fù)

3、數(shù)據(jù)消除系統(tǒng)的吞吐量幾個方面。本論文的研究工作取得了以下創(chuàng)新性成果：
　　(1)提出了一種基于預(yù)分塊和滑動窗口的相同數(shù)據(jù)檢測方法：該方法對數(shù)據(jù)變動區(qū)域和非變動區(qū)域采用不同的分塊策略，較好地解決了現(xiàn)有方法不能解決的提高壓縮性能和降低分塊元數(shù)據(jù)開銷之間的矛盾，從而突破了進(jìn)一步提高檢測方法壓縮性能所面臨的瓶頸。在分塊大小預(yù)期值較大的情況下，該方法仍能獲得較高的壓縮比并且時間開銷明顯低于現(xiàn)有的有狀態(tài)檢測方法。
　　(2)提出了一種D

4、elta文件版本傳遞算法：通過使用該算法，可以在不計(jì)算中間版本文件的情況下恢復(fù)出所需的版本文件，較好地解決了線性Delta鏈數(shù)據(jù)恢復(fù)性能差的問題，并保持了線性Delta鏈壓縮性能最優(yōu)的特點(diǎn)。基于該算法的Delta備份系統(tǒng)的壓縮性能相對于基于跳躍式Delta鏈的系統(tǒng)顯著提高，并且數(shù)據(jù)恢復(fù)時間明顯低于傳統(tǒng)數(shù)據(jù)恢復(fù)方法。
　　(3)提出了一種面向重復(fù)數(shù)據(jù)消除系統(tǒng)的加密方法：該方法以分塊為加密的基本單位，并且使用會聚性的方法生成分塊對稱密

5、鑰，消除了用戶密鑰選擇不一致和加密算法雪崩效應(yīng)給重復(fù)數(shù)據(jù)消除帶來的影響，從而較好地解決了傳統(tǒng)加密方法與重復(fù)數(shù)據(jù)消除技術(shù)不兼容的問題，使系統(tǒng)的數(shù)據(jù)機(jī)密性和壓縮性能同時得到了保證。
　　(4)提出了不依賴于備份負(fù)載局部性的吞吐量提升方法：設(shè)計(jì)了一種適用于混合備份負(fù)載的吞吐量提升方法，并在此基礎(chǔ)上進(jìn)一步設(shè)計(jì)了一種適用于分布式應(yīng)用環(huán)境的吞吐量提升方法，這兩種方法較好地解決了現(xiàn)有吞吐量提升方法依賴于備份負(fù)載局部性的問題，能夠有效處理非傳統(tǒng)備