面向糾刪碼存儲集群的離線歸檔優(yōu)化研究.pdf

1、糾刪碼具有低存儲開銷高容錯特點，可以將（k+r，k）糾刪碼用于歸檔訪問頻率低的數(shù)據(jù)副本，既可以保證數(shù)據(jù)的可用性，又可以提高存儲空間的利用率。根據(jù)待歸檔數(shù)據(jù)塊的存放規(guī)則，數(shù)據(jù)歸檔可分為固定布局?jǐn)?shù)據(jù)歸檔和隨機布局?jǐn)?shù)據(jù)歸檔。
　　在固定布局?jǐn)?shù)據(jù)歸檔中，傳統(tǒng)的同步編碼方案因為編碼任務(wù)集中，存在磁盤讀寫競爭，網(wǎng)絡(luò)帶寬限制歸檔性能等問題。為了克服這些缺點，提出流水線的編碼處理方式加速存儲集群的數(shù)據(jù)歸檔性能。首先，在鏡像RAID-5和三副本集群

2、中應(yīng)用鏈?zhǔn)椒稚C制提出了兩種新的數(shù)據(jù)布局([D+P]cd和[3X]cd)。其次，基于兩種數(shù)據(jù)布局，設(shè)計了兩種歸檔方案（DP和3X），其表現(xiàn)出以下三個顯著特點：（?。├脭?shù)據(jù)局部性，編碼過程中的相關(guān)節(jié)點都讀取兩到三個本地數(shù)據(jù)塊；（ⅱ）分散計算負(fù)載，編碼操作被分散到 k個節(jié)點；和（ⅲ）并行歸檔，兩到三條編碼流水線同時部署，產(chǎn)生奇偶校驗塊。在真實的存儲集群中實現(xiàn)兩種歸檔方案（DP和3X），以及三種現(xiàn)有的解決方案（即SynE，DE和RapidR

3、AID）。實驗結(jié)果表明，本文的歸檔方案在9節(jié)點存儲集群中的歸檔時間優(yōu)于其它三種歸檔方案至少3.41倍。
　　在隨機布局歸檔中，傳統(tǒng)的歸檔方案將大數(shù)據(jù)塊劃分為小數(shù)據(jù)分塊進行處理，并沿用分布式集群中的數(shù)據(jù)局部性，存在隨機讀和歸檔任務(wù)分配不均等弊端。本文利用預(yù)取技術(shù)，對原有的隨機布局歸檔方案（CArch、DArch和 BArch）進行改進，提出預(yù)取歸檔方案（PCArch、PDArch和PBArch）。在真實的存儲集群中實現(xiàn)以上六種隨機布