基于重復(fù)數(shù)據(jù)消除的大型數(shù)據(jù)庫(kù)災(zāi)備系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著經(jīng)濟(jì)全球化的深入以及行業(yè)信息化程度的不斷提升，國(guó)際性大企業(yè)不斷涌現(xiàn)，企業(yè)處理數(shù)以?xún)|萬(wàn)計(jì)的用戶(hù)產(chǎn)生的爆炸性的生產(chǎn)數(shù)據(jù)時(shí)，數(shù)據(jù)中心的數(shù)據(jù)傳輸和存儲(chǔ)能力就顯得尤為重要。統(tǒng)計(jì)數(shù)據(jù)表明，這些新增的海量數(shù)據(jù)中，存在著很多相似甚至相同的數(shù)據(jù)（稱(chēng)為冗余數(shù)據(jù)），為此，如何消除冗余信息，節(jié)省傳輸帶寬，節(jié)約存儲(chǔ)空間，以此減輕數(shù)據(jù)中心的負(fù)擔(dān)，已經(jīng)成為亟待解決的關(guān)鍵問(wèn)題。為此，提出了重復(fù)數(shù)據(jù)消除技術(shù)，目前，采用重復(fù)數(shù)據(jù)消除技術(shù)以改進(jìn)存儲(chǔ)中心數(shù)據(jù)存儲(chǔ)效率、性能

2、，具有重要的理論價(jià)值和現(xiàn)實(shí)意義。
　　本論文在對(duì)備份系統(tǒng)消冗相關(guān)技術(shù)深入研究的基礎(chǔ)上，主要完成了如下的工作：
　　首先創(chuàng)新的提出一種基于磁盤(pán)的消冗存儲(chǔ)系統(tǒng)的加密方案（ESDS），從加密算法的三個(gè)參與方的加密流程展開(kāi)闡述，并對(duì)各種可能遇到攻擊者時(shí)的安全性進(jìn)行分析，此算法在用戶(hù)對(duì)傳輸?shù)臄?shù)據(jù)信息有加密的需求時(shí)，能夠提供數(shù)據(jù)可靠性的保障；
　　其次對(duì)大型災(zāi)備系統(tǒng)的結(jié)構(gòu)和功能進(jìn)行了設(shè)計(jì)，并創(chuàng)新的提出了一種綜合使用初篩——基于局部

3、性對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、基于慣性原理對(duì)元數(shù)據(jù)進(jìn)行預(yù)讀——寫(xiě)緩沖的機(jī)制來(lái)提高消冗的效率的策略。
　　最后在測(cè)試環(huán)節(jié)設(shè)計(jì)了一種獨(dú)創(chuàng)的適用于用于對(duì)本文消冗模塊進(jìn)行測(cè)試的測(cè)試數(shù)據(jù)集的構(gòu)造方法。設(shè)計(jì)了包含多個(gè)對(duì)照系的實(shí)驗(yàn)方法對(duì)不同消冗方式進(jìn)行了實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析得出了最終結(jié)論，最后設(shè)計(jì)了包含多個(gè)對(duì)照系的測(cè)試流程，并對(duì)測(cè)試數(shù)據(jù)進(jìn)行分析得出最終結(jié)論。
　　實(shí)驗(yàn)結(jié)果表明，本論文設(shè)計(jì)的消冗災(zāi)備模塊同時(shí)支持定長(zhǎng)塊和基于內(nèi)容分塊消冗方式，備份速