基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf_第1頁
已閱讀1頁,還剩155頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、隨著信息技術(shù)和各種新興網(wǎng)絡(luò)應(yīng)用的飛速發(fā)展,電子數(shù)據(jù)量增長迅猛,這些海量數(shù)據(jù)的存儲和備份使得存儲需求呈指數(shù)增長,數(shù)據(jù)中心的存儲規(guī)模在迅速向PB級別甚至EB級別發(fā)展。研究表明,各種應(yīng)用系統(tǒng)中存儲的電子數(shù)據(jù)平均存在大約60%的重復(fù)數(shù)據(jù),并且隨著時間的推移不斷增長。例如辦公自動化系統(tǒng)、歸檔存儲系統(tǒng)、群發(fā)郵件及附件、Web頁面和軟件版本發(fā)布中都存在大量的重復(fù)數(shù)據(jù),周期性的備份更是加速了重復(fù)數(shù)據(jù)的增長。這些重復(fù)數(shù)據(jù)的多次存儲和傳送消耗了大量寶貴的存

2、儲和帶寬資源,極大地增加了數(shù)據(jù)管理成本。因此,如何利用重復(fù)數(shù)據(jù)消除技術(shù)優(yōu)化資源的利用率,降低數(shù)據(jù)管理的開銷,已經(jīng)成為了備份存儲領(lǐng)域的一個熱點(diǎn)研究課題。
  對基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)備份系統(tǒng)而言,在提高數(shù)據(jù)壓縮性能的同時,還應(yīng)該保證系統(tǒng)具有良好的安全性和吞吐量性能。因此,本論文的研究工作針對現(xiàn)有方法存在的不足,著眼于提高相同數(shù)據(jù)檢測方法的壓縮性能、提高線性Delta鏈的數(shù)據(jù)恢復(fù)性能、提高重復(fù)數(shù)據(jù)消除系統(tǒng)的數(shù)據(jù)安全性、提高重復(fù)

3、數(shù)據(jù)消除系統(tǒng)的吞吐量幾個方面。本論文的研究工作取得了以下創(chuàng)新性成果:
  (1)提出了一種基于預(yù)分塊和滑動窗口的相同數(shù)據(jù)檢測方法:該方法對數(shù)據(jù)變動區(qū)域和非變動區(qū)域采用不同的分塊策略,較好地解決了現(xiàn)有方法不能解決的提高壓縮性能和降低分塊元數(shù)據(jù)開銷之間的矛盾,從而突破了進(jìn)一步提高檢測方法壓縮性能所面臨的瓶頸。在分塊大小預(yù)期值較大的情況下,該方法仍能獲得較高的壓縮比并且時間開銷明顯低于現(xiàn)有的有狀態(tài)檢測方法。
  (2)提出了一種D

4、elta文件版本傳遞算法:通過使用該算法,可以在不計(jì)算中間版本文件的情況下恢復(fù)出所需的版本文件,較好地解決了線性Delta鏈數(shù)據(jù)恢復(fù)性能差的問題,并保持了線性Delta鏈壓縮性能最優(yōu)的特點(diǎn)。基于該算法的Delta備份系統(tǒng)的壓縮性能相對于基于跳躍式Delta鏈的系統(tǒng)顯著提高,并且數(shù)據(jù)恢復(fù)時間明顯低于傳統(tǒng)數(shù)據(jù)恢復(fù)方法。
  (3)提出了一種面向重復(fù)數(shù)據(jù)消除系統(tǒng)的加密方法:該方法以分塊為加密的基本單位,并且使用會聚性的方法生成分塊對稱密

5、鑰,消除了用戶密鑰選擇不一致和加密算法雪崩效應(yīng)給重復(fù)數(shù)據(jù)消除帶來的影響,從而較好地解決了傳統(tǒng)加密方法與重復(fù)數(shù)據(jù)消除技術(shù)不兼容的問題,使系統(tǒng)的數(shù)據(jù)機(jī)密性和壓縮性能同時得到了保證。
  (4)提出了不依賴于備份負(fù)載局部性的吞吐量提升方法:設(shè)計(jì)了一種適用于混合備份負(fù)載的吞吐量提升方法,并在此基礎(chǔ)上進(jìn)一步設(shè)計(jì)了一種適用于分布式應(yīng)用環(huán)境的吞吐量提升方法,這兩種方法較好地解決了現(xiàn)有吞吐量提升方法依賴于備份負(fù)載局部性的問題,能夠有效處理非傳統(tǒng)備

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論