基于糾刪碼存儲(chǔ)的數(shù)據(jù)維護(hù)關(guān)鍵技術(shù)研究.pdf

1、隨著當(dāng)前云存儲(chǔ)，大數(shù)據(jù)等技術(shù)的興起，數(shù)據(jù)的可生存性日益受到重視，而數(shù)據(jù)容錯(cuò)技術(shù)則是保證數(shù)據(jù)生存性的主要方法。當(dāng)前的數(shù)據(jù)容錯(cuò)技術(shù)主要通過(guò)冗余的方法實(shí)現(xiàn)，主要有副本方式和糾刪碼方式，糾刪碼方式在存儲(chǔ)效率方面遠(yuǎn)遠(yuǎn)高于副本方式，但存在數(shù)據(jù)維護(hù)開(kāi)銷大的問(wèn)題。
　　本文對(duì)糾刪碼方案的數(shù)據(jù)維護(hù)開(kāi)銷問(wèn)題進(jìn)行了研究，提出其面臨的兩大問(wèn)題：1.節(jié)點(diǎn)間維護(hù)通信開(kāi)銷過(guò)大；2.數(shù)據(jù)恢復(fù)計(jì)算開(kāi)銷過(guò)大。針對(duì)這兩個(gè)問(wèn)題，我們提出了解決的方法。
　　首先，本

2、文從數(shù)據(jù)讀取的角度出發(fā)，提出了被動(dòng)檢測(cè)修復(fù)算法。該方法的主要思想是利用系統(tǒng)正常讀帶寬進(jìn)行數(shù)據(jù)的檢測(cè)，如果數(shù)據(jù)需要修復(fù)，則緩存正常解碼后的數(shù)據(jù)于本地，通過(guò)這種方法檢測(cè)過(guò)的數(shù)據(jù)在被修復(fù)時(shí)，不需要再次檢測(cè)、下載和解碼數(shù)據(jù)，降低了通信和修復(fù)開(kāi)銷。據(jù)我們所知，目前還沒(méi)有類似的方法。
　　其次，本文從系統(tǒng)可靠性的角度出發(fā)，提出了自適應(yīng)檢測(cè)算法，降低數(shù)據(jù)修復(fù)和通信開(kāi)銷。該方法的主要思想是根據(jù)系統(tǒng)可靠性的不同來(lái)調(diào)整數(shù)據(jù)維護(hù)的頻率，可靠性較高的系統(tǒng)

3、則維護(hù)頻率較低。該方法與現(xiàn)存的其他方法相比，主要不同在于數(shù)據(jù)維護(hù)頻率是根據(jù)系統(tǒng)可靠性而動(dòng)態(tài)變化，在降低維護(hù)頻率的同時(shí)，保證了數(shù)據(jù)可用性。
　　再次，本文從數(shù)據(jù)分類的角度出發(fā)，提出了容忍度選擇算法。該方法主要思想是根據(jù)數(shù)據(jù)訪問(wèn)模式的不同（實(shí)際的存儲(chǔ)系統(tǒng)中，數(shù)據(jù)的訪問(wèn)模式存在較大的差異[64]），對(duì)不同的數(shù)據(jù)實(shí)現(xiàn)不同的維護(hù)頻率，降低不經(jīng)常訪問(wèn)數(shù)據(jù)的維護(hù)頻率，從而進(jìn)一步降低了通信和修復(fù)開(kāi)銷。據(jù)我們所知，目前還沒(méi)有基于糾刪碼存儲(chǔ)的系統(tǒng)在數(shù)