一種基于糾刪碼的分布式備份技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的不斷發(fā)展,存儲系統(tǒng)中的數(shù)據(jù)量不斷增長并呈海量形式發(fā)展。傳統(tǒng)的依賴本地服務(wù)器的存儲已經(jīng)無法滿足日益增長的存儲需求,因此大規(guī)模的基于分布式存儲的數(shù)據(jù)中心正在迅速增長。分布式存儲系統(tǒng)中,為了保障數(shù)據(jù)的可用性,容災(zāi)備份是關(guān)鍵問題之一,這需要使用容錯(cuò)策略來實(shí)現(xiàn)系統(tǒng)的高可靠性,特別是存在大量的冷數(shù)據(jù)的分布式存儲系統(tǒng)中,冷數(shù)據(jù)的備份方式需要特別考慮。針對上述問題,在介紹備份容錯(cuò)策略的基礎(chǔ)上,對分布式系統(tǒng)的編碼備份技術(shù)進(jìn)行了分

2、析和研究,并提出了一種基于編碼的分布式備份方案。
　　通過對現(xiàn)有編碼技術(shù)的研究,提出了一種基于糾刪碼的,適用于含大量冷數(shù)據(jù)分布式系統(tǒng)的一種備份架構(gòu)。這種架構(gòu)在保障數(shù)據(jù)可靠性的同時(shí),能夠提高系統(tǒng)的存儲利用率,提高系統(tǒng)的負(fù)載均衡性,縮短節(jié)點(diǎn)失效時(shí)的修復(fù)時(shí)間,增加系統(tǒng)靈活性。在系統(tǒng)設(shè)計(jì)上,為了使系統(tǒng)的負(fù)載更為均衡,將存儲節(jié)點(diǎn)中的物理節(jié)點(diǎn)根據(jù)需求分為多個(gè)虛擬節(jié)點(diǎn)并且排序后均勻分布在圓環(huán)結(jié)構(gòu)中,虛擬節(jié)點(diǎn)存儲用戶數(shù)據(jù)。同時(shí),根據(jù)用戶需求設(shè)計(jì)不

3、同的備份服務(wù)器,選擇存儲組,存儲組由多個(gè)不在同一物理節(jié)點(diǎn)的虛擬節(jié)點(diǎn)構(gòu)成,備份服務(wù)器中的數(shù)據(jù)經(jīng)過分割,糾刪碼編碼后,分散存儲到存儲組內(nèi)的虛擬節(jié)點(diǎn)上,不同的用戶需求可以選擇不同的糾刪碼。處理失效時(shí),數(shù)據(jù)塊通過解碼的方式恢復(fù)來保證其可靠性,物理節(jié)點(diǎn)通過多存儲組的并行恢復(fù)在保證可靠性的同時(shí),縮短恢復(fù)時(shí)間。
　　基于設(shè)計(jì)的模型,對基于糾刪碼的分布式備份方案進(jìn)行了仿真測試,通過節(jié)點(diǎn)選取和數(shù)據(jù)修復(fù)的測試,驗(yàn)證了編碼備份方案能保證數(shù)據(jù)的可靠性,相