糾刪碼集群存儲(chǔ)的數(shù)據(jù)訪問優(yōu)化技術(shù)研究.pdf

1、近年來,隨著信息化的高速發(fā)展,數(shù)據(jù)量呈爆炸式增長,分布式存儲(chǔ)方式被廣泛應(yīng)用,同時(shí)數(shù)據(jù)可用性也得到了極大的重視。在此情況下,作為一種重要的冗余機(jī)制,糾刪碼被廣泛應(yīng)用于分布式存儲(chǔ)系統(tǒng)以獲得高可用性。但是,糾刪碼在讀、寫和失效恢復(fù)方面的代價(jià)較高,因此,為糾刪碼系統(tǒng)設(shè)計(jì)新的讀、寫和重構(gòu)方案以提高系統(tǒng)性能具有重要的研究意義和應(yīng)用前景。在基于糾刪碼的集群存儲(chǔ)環(huán)境中,分別針對讀、寫和重構(gòu)提出了三種優(yōu)化方案,分別稱之為基于最小負(fù)載的大讀優(yōu)化方案、局部式

2、小寫更新優(yōu)化方案和基于重定向的在線重構(gòu)方案。
　　在基于最小負(fù)載的大讀優(yōu)化方案中,首先結(jié)合糾刪碼集群系統(tǒng)的特點(diǎn),定義了負(fù)載衡量基準(zhǔn),根據(jù)該基準(zhǔn),將集群系統(tǒng)中高負(fù)載節(jié)點(diǎn)的讀請求轉(zhuǎn)移到其他負(fù)載較低的節(jié)點(diǎn)上,最后解碼出所需的數(shù)據(jù),使得在平衡節(jié)點(diǎn)負(fù)載的同時(shí),降低用戶的訪問響應(yīng)時(shí)間。
　　在局部式小寫更新優(yōu)化方案(PUS)中,充分利用存儲(chǔ)節(jié)點(diǎn)的計(jì)算能力,將部分更新工作從更新節(jié)點(diǎn)轉(zhuǎn)移至存儲(chǔ)節(jié)點(diǎn),減少由于更新所帶來數(shù)據(jù)讀、寫和傳輸開銷,有

3、效縮短更新操作流程,不僅優(yōu)化用戶響應(yīng)時(shí)間,而且減輕更新節(jié)點(diǎn)壓力。實(shí)驗(yàn)結(jié)果表明,相比于傳統(tǒng)更新方案,PUS能有效降低至少42％的小寫更新時(shí)間。
　　在基于重定向的在線重構(gòu)方案(ROW-R)中,按照最小化用戶I/O對重構(gòu)I/O干擾的策略,將面向失效節(jié)點(diǎn)的全部寫請求和部分讀請求重新定位至其他存活節(jié)點(diǎn),從而在物理上將用戶工作流與重構(gòu)工作流在一定程度上分開,通過充分利用磁盤在連續(xù)寫時(shí)的高性能特性,加速重構(gòu)進(jìn)程。實(shí)驗(yàn)表明,ROW-R能有效優(yōu)化