基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化.pdf

1、傳統(tǒng)的存儲(chǔ)系統(tǒng)無(wú)法滿足呈爆炸性增長(zhǎng)的海量數(shù)據(jù)存儲(chǔ)需求，分布式文件系統(tǒng)應(yīng)運(yùn)而生，如今已得到廣泛應(yīng)用。傳統(tǒng)的分布式文件系統(tǒng)通常采用多副本技術(shù)來(lái)保證數(shù)據(jù)的可靠性。對(duì)于副本系數(shù)為3的系統(tǒng)，一份數(shù)據(jù)被切分為幾個(gè)塊，每個(gè)塊的3個(gè)副本分別存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)。這種備份方法最大的缺點(diǎn)是需要極大的額外存儲(chǔ)開(kāi)銷。隨著數(shù)據(jù)量的增長(zhǎng)，所需的存儲(chǔ)空間增長(zhǎng)速度將遠(yuǎn)遠(yuǎn)大于硬件設(shè)備的擴(kuò)展速度，存儲(chǔ)開(kāi)銷將成為數(shù)據(jù)中心的一個(gè)主要成本瓶頸。
　　糾刪碼技術(shù)只需要較少的

2、額外開(kāi)銷就可以獲得很高的數(shù)據(jù)可靠性。而所有的糾刪碼中，里德所羅門碼(Reed-Solomon Codes, RS碼)最為常用。糾刪碼技術(shù)應(yīng)用于分布式文件系統(tǒng)能顯著降低存儲(chǔ)開(kāi)銷、提高數(shù)據(jù)可靠性，但在修復(fù)丟失的數(shù)據(jù)時(shí)，需要付出極大的代價(jià)。就修復(fù)單個(gè)塊而言，部署了里德所羅門碼系統(tǒng)的帶寬和I/O開(kāi)銷甚至達(dá)到了三副本系統(tǒng)的12倍。
　　為此，本文提出了一個(gè)改進(jìn)的RS碼方案。在RS碼的基礎(chǔ)上，通過(guò)添加額外的校驗(yàn)塊，改善RS碼的局部性。對(duì)于RS

3、(12,4)碼，12個(gè)數(shù)據(jù)塊生成4個(gè)校驗(yàn)塊(全局校驗(yàn)塊)，我們僅需在這個(gè)基礎(chǔ)上將12個(gè)數(shù)據(jù)塊分成3組，每組4個(gè)塊，每4個(gè)塊生成一個(gè)額外校驗(yàn)塊(局部校驗(yàn)塊)，就能使原RS碼的局部性由12降為4。這意味著原來(lái)修復(fù)單個(gè)塊需要讀取和傳輸12個(gè)塊，現(xiàn)在僅需4個(gè)塊，極大的降低了修復(fù)所需的磁盤I/O和網(wǎng)絡(luò)帶寬開(kāi)銷。另外，本文證明了當(dāng)丟失單個(gè)全局校驗(yàn)塊時(shí)，同樣能夠利用三個(gè)局部校驗(yàn)塊進(jìn)行快速恢復(fù)。因?yàn)橄到y(tǒng)無(wú)需為全局校驗(yàn)塊生成額外的校驗(yàn)塊，因此提高了存儲(chǔ)效