分布式文件系統(tǒng)存儲(chǔ)效率優(yōu)化研究.pdf

1、隨著當(dāng)今互聯(lián)網(wǎng)環(huán)境中信息呈爆炸式的增長(zhǎng),人們對(duì)信息的存儲(chǔ)要求已經(jīng)變得越來(lái)越高。而大型互聯(lián)網(wǎng)公司內(nèi)部的分布式文件系統(tǒng)的集群規(guī)模更是急劇擴(kuò)張,存儲(chǔ)成本也在不斷上升。為了保證數(shù)據(jù)可靠性,現(xiàn)有分布式文件系統(tǒng)通常使用完全數(shù)據(jù)冗余的方法對(duì)文件進(jìn)行容錯(cuò),其中采用最多的方法為三副本備份方法。但是三副本備份方法給系統(tǒng)帶來(lái)了相當(dāng)大的空間消耗,存儲(chǔ)效率低下,所以針對(duì)分布式文件系統(tǒng)的存儲(chǔ)效率進(jìn)行優(yōu)化越來(lái)越成為研究中的熱點(diǎn)。
　　糾刪碼技術(shù)通過(guò)對(duì)文件編碼生

2、成校驗(yàn)來(lái)達(dá)到容錯(cuò)目的,能夠極大地提升分布式文件系統(tǒng)的存儲(chǔ)效率。但是由于糾刪碼方法需要對(duì)文件進(jìn)行編碼解碼操作,并且在系統(tǒng)中僅保存了文件的一份副本,對(duì)系統(tǒng)性能帶來(lái)了影響。因此針對(duì)此問(wèn)題,提出一種基于冷熱數(shù)據(jù)區(qū)分的混合存儲(chǔ)方案,在提高分布式文件系統(tǒng)存儲(chǔ)效率的同時(shí),將糾刪碼技術(shù)對(duì)系統(tǒng)性能的損耗降低到最小。
　　所提出的方案結(jié)合了三副本備份方法和糾刪碼方法的優(yōu)點(diǎn),將新寫入的數(shù)據(jù)以三副本備份方法存儲(chǔ),保證系統(tǒng)性能,當(dāng)數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)時(shí),對(duì)文件進(jìn)

3、行編碼轉(zhuǎn)換,并減少副本數(shù),節(jié)約存儲(chǔ)空間。在編碼過(guò)程中系統(tǒng)參考了RAID(Redundant Array of Independent Disk)中“條帶化”的思想以一個(gè)條帶做為編碼單元。
　　測(cè)試結(jié)果表明,此存儲(chǔ)效率優(yōu)化方案相對(duì)于三副本備份方法在存儲(chǔ)效率方面提升了約25％,并且此方案將糾刪碼技術(shù)所帶來(lái)的系統(tǒng)性能損耗由50%降低至5%以內(nèi),其性能表現(xiàn)與三副本備份方法基本一致。測(cè)試說(shuō)明了基于冷熱數(shù)據(jù)區(qū)分的存儲(chǔ)效率優(yōu)化方案確實(shí)集合了多種