基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化.pdf

1、傳統(tǒng)的存儲系統(tǒng)無法滿足呈爆炸性增長的海量數(shù)據(jù)存儲需求，分布式文件系統(tǒng)應運而生，如今已得到廣泛應用。傳統(tǒng)的分布式文件系統(tǒng)通常采用多副本技術來保證數(shù)據(jù)的可靠性。對于副本系數(shù)為3的系統(tǒng)，一份數(shù)據(jù)被切分為幾個塊，每個塊的3個副本分別存儲在不同的數(shù)據(jù)節(jié)點。這種備份方法最大的缺點是需要極大的額外存儲開銷。隨著數(shù)據(jù)量的增長，所需的存儲空間增長速度將遠遠大于硬件設備的擴展速度，存儲開銷將成為數(shù)據(jù)中心的一個主要成本瓶頸。
　　糾刪碼技術只需要較少的

2、額外開銷就可以獲得很高的數(shù)據(jù)可靠性。而所有的糾刪碼中，里德所羅門碼(Reed-Solomon Codes, RS碼)最為常用。糾刪碼技術應用于分布式文件系統(tǒng)能顯著降低存儲開銷、提高數(shù)據(jù)可靠性，但在修復丟失的數(shù)據(jù)時，需要付出極大的代價。就修復單個塊而言，部署了里德所羅門碼系統(tǒng)的帶寬和I/O開銷甚至達到了三副本系統(tǒng)的12倍。
　　為此，本文提出了一個改進的RS碼方案。在RS碼的基礎上，通過添加額外的校驗塊，改善RS碼的局部性。對于RS

3、(12,4)碼，12個數(shù)據(jù)塊生成4個校驗塊(全局校驗塊)，我們僅需在這個基礎上將12個數(shù)據(jù)塊分成3組，每組4個塊，每4個塊生成一個額外校驗塊(局部校驗塊)，就能使原RS碼的局部性由12降為4。這意味著原來修復單個塊需要讀取和傳輸12個塊，現(xiàn)在僅需4個塊，極大的降低了修復所需的磁盤I/O和網絡帶寬開銷。另外，本文證明了當丟失單個全局校驗塊時，同樣能夠利用三個局部校驗塊進行快速恢復。因為系統(tǒng)無需為全局校驗塊生成額外的校驗塊，因此提高了存儲效