海量數據存儲系統(tǒng)的高可靠性關鍵技術研究與應用.pdf

1、隨著信息技術的不斷發(fā)展，數據日益成為人們日常生活中重要資源。據統(tǒng)計，2010年全球創(chuàng)建、存儲和復制的數字信息總量已達到1.2ZB，2011年的數據量達到里程碑式的1.8ZB，而且這種增長還在加速，預計2015年將達到近8ZB。爆炸式增長的數據必然帶來存儲設備的持續(xù)增加。目前，海量數據存儲環(huán)境下的現代數據中心的存儲節(jié)點規(guī)模少則幾萬多則幾十萬，但在規(guī)模巨大的存儲環(huán)境系統(tǒng)中，磁盤損毀或者存儲節(jié)點失效已成為一種常態(tài)行為；與此同時，因網絡連接設備

2、或者存儲節(jié)點其它元器件造成的數據不可訪問或者丟失現象也時有發(fā)生。為了滿足日益擴展的數據存儲需求，人們對數據存儲的可靠性，可用性等相關特性提出了更高的要求，傳統(tǒng)的常規(guī)技術手段根本無法應對當前的形式，如何實現海量數據的低冗余度高可靠性存儲已經成為業(yè)界面臨的一個巨大挑戰(zhàn)。
　　因而，本文針對構建低冗余度高可靠性海量數據存儲系統(tǒng)的關鍵問題，在總結了當今數據可靠性增強理論和海量數據存儲系統(tǒng)基本架構的基礎上，對高性能數據容刪數據布局算法以及高

3、可靠性存儲架構等方面進行了深入的研究，取得了一定的進展，具體如下：
　　1．針對已在數據存儲系統(tǒng)中有廣泛應用的RAID技術，提出了一種新的基于異或運算的水平陣列糾刪碼：EX-ENOD碼。該碼能夠容許任意三列的隨機刪除錯，并具有極大距離可分性質。根據該碼的幾何構造特點，提出了一種具有低計算復雜度的譯碼方法，該方法的計算復雜度要低于目前已知的其它可糾三列隨機刪除錯糾刪碼的譯碼方法。同時，該編碼方法具有明顯的通用性，可以擴展應用到STA

4、R碼、EEOD碼的譯碼過程。
　　2．針對海量存儲系統(tǒng)規(guī)模不斷擴大，可靠性要求不斷提高的需求，本文將在{0,1}符號域上的范德蒙系統(tǒng)編碼方法引入存儲系統(tǒng)中來。該種編碼方法繼承了傳統(tǒng)有限域上構建的范德蒙編碼的參數不受存儲節(jié)點規(guī)模、容錯參數限制的優(yōu)良特性，而且存儲效率達到最高，同時該方法突破了傳統(tǒng)有限域上構建的編碼需要大量查詢運算的弊端?；谠摼幋a方法構建的存儲系統(tǒng)，在保證其數據仍然可用的情況下，最多可容許系統(tǒng)內部一半的存儲節(jié)點發(fā)生損

5、毀，在該種情況下，系統(tǒng)僅需要與原數據相同的冗余數據量。
　　3．針對{0,1}符號域上編碼矩陣的特點，根據編碼矩陣中各行向量中“1”元素的分布，提出了可降低編譯碼計算復雜度的優(yōu)化算法。文章同時針對傳統(tǒng)譯碼重構過程重構帶寬較高的缺點，提出了基于校驗矩陣的譯碼方法，并根據校驗矩陣列向量的特點和存儲系統(tǒng)所需要重構數據的數目，給出了一種低帶寬重構算法。該種低帶寬重構算法，可以推廣到所有構建在{0,1}符號域上的編碼存儲系統(tǒng)。
　　4