面向多節(jié)點失效的糾刪碼及數(shù)據(jù)修復(fù)技術(shù)研究.pdf

1、在分布式存儲系統(tǒng)中，基于糾刪碼的容錯機制相比于基于副本的容錯機制能夠極大地節(jié)省數(shù)據(jù)存儲開銷。然而，糾刪碼修復(fù)所產(chǎn)生的大量數(shù)據(jù)傳輸影響了系統(tǒng)性能，阻礙了糾刪碼在實際分布式存儲系統(tǒng)中的廣泛應(yīng)用。糾刪碼的修復(fù)方式分為立即修復(fù)和延遲修復(fù)兩種，延遲修復(fù)相比于立即修復(fù)能夠節(jié)省系統(tǒng)資源，因此成為目前主流的修復(fù)方式。然而，延遲修復(fù)將導(dǎo)致多節(jié)點失效更為常見?，F(xiàn)有的糾刪碼和修復(fù)策略主要針對于單節(jié)點失效修復(fù)，在多節(jié)點失效修復(fù)時數(shù)據(jù)傳輸量大、速度慢。為降低多節(jié)

2、點數(shù)據(jù)傳輸量、加快修復(fù)速度，對面向多節(jié)點失效的糾刪碼以及數(shù)據(jù)修復(fù)技術(shù)進行了深入研究。取得的主要研究進展如下：
　　首先，針對已有糾刪碼在多節(jié)點修復(fù)時存在數(shù)據(jù)傳輸量大的問題，本文提出了一種面向多節(jié)點失效的分組修復(fù)碼GRC。GRC碼利用分組思想將整個條帶分成若干組并在組內(nèi)計算出多個局部編碼塊，來減少多節(jié)點修復(fù)時的數(shù)據(jù)傳輸量。在計算局部編碼塊時，通過控制生成矩陣，使得各組中序號相同的局部編碼塊能夠合成全局編碼塊，合成的全局編碼塊和已有全

3、局編碼塊共同維持糾刪碼容錯度。根據(jù)GRC碼的編碼特征，本文提出針對GRC碼的基于多階段選擇策略的解碼算法GMCD以減少解碼過程的數(shù)據(jù)傳輸量，優(yōu)化系統(tǒng)性能。實驗結(jié)果表明，與已有的典型糾刪碼RS碼相比，GRC碼將修復(fù)時數(shù)據(jù)傳輸量降低50％以上；與分組結(jié)構(gòu)型糾刪碼BPC碼相比，GRC碼將修復(fù)時數(shù)據(jù)傳輸量降低15%-25%。
　　其次，針對已有修復(fù)技術(shù)在多節(jié)點修復(fù)時速度慢的問題，本文提出了一種分組數(shù)據(jù)互換修復(fù)技術(shù) GDER。不同于傳統(tǒng)集中

4、式同時修復(fù)技術(shù)中將所有塊發(fā)送到一個新生節(jié)點上進行解碼，GDER將修復(fù)所用到的塊平均分成兩組，并各自發(fā)送到兩個新生節(jié)點。兩個新生節(jié)點分別計算得出中間數(shù)據(jù)，然后交換部分中間數(shù)據(jù)，使得新生節(jié)點本身計算得到的中間數(shù)據(jù)和從另一個新生節(jié)點接收得到的中間數(shù)據(jù)合成失效塊。由于修復(fù)過程中兩個節(jié)點并行地接收數(shù)據(jù)和進行解碼計算，因此GDER的修復(fù)速度相比于傳統(tǒng)集中式同時修復(fù)技術(shù)有近一倍的提高。此外，本文提出了一種以最小數(shù)據(jù)傳輸代價為目標的節(jié)點選擇算法MDTN

5、S以優(yōu)化多節(jié)點修復(fù)性能。實驗結(jié)果表明，與傳統(tǒng)集中式同時修復(fù)技術(shù)相比，GDER在保持修復(fù)數(shù)據(jù)傳輸量較低的情況下，修復(fù)速度提高70%以上。
　　最后，基于上述研究成果，設(shè)計并實現(xiàn)了一個基于分組修復(fù)碼的分布容錯存儲原型系統(tǒng)GroupCR。GroupCR基于開源的分布式容錯存儲系統(tǒng)HDFS-RAID設(shè)計實現(xiàn)，含有豐富的糾刪碼編碼算法，包括已有的GRC碼、BPC碼、RS碼和XOR碼，也能較容易地擴展支持其他的編碼算法。此外，GroupCR支