分布式存儲(chǔ)系統(tǒng)中異步編碼的動(dòng)態(tài)條帶構(gòu)建.pdf

1、為了在保證數(shù)據(jù)訪問性能的同時(shí)降低系統(tǒng)的冗余存儲(chǔ)開銷，分布式存儲(chǔ)系統(tǒng)通常會(huì)采用異步編碼技術(shù)。在新數(shù)據(jù)被寫入時(shí)，系統(tǒng)使用多副本機(jī)制對這些數(shù)據(jù)進(jìn)行存儲(chǔ)，并在數(shù)據(jù)訪問變少后，在后臺(tái)將這些數(shù)據(jù)轉(zhuǎn)化為糾刪碼方式存儲(chǔ)。由于分布式系統(tǒng)通常采用隨機(jī)分布的數(shù)據(jù)塊放置方法，邏輯地址連續(xù)的數(shù)據(jù)塊通常會(huì)分散在系統(tǒng)的所有節(jié)點(diǎn)中。因此在執(zhí)行編碼操作時(shí)，編碼進(jìn)程需要通過跨機(jī)架下載來獲取數(shù)據(jù)塊。而在編碼完成后，又需要跨機(jī)架的數(shù)據(jù)塊重新分布來保證數(shù)據(jù)的可靠性。這種方法即降

2、低了異步編碼操作的執(zhí)行效率，也影響了系統(tǒng)中前臺(tái)任務(wù)進(jìn)程的性能。
　　為了提高異步編碼的執(zhí)行效率并降低其對前臺(tái)任務(wù)性能的影響，本文提出了一種新型的編碼條帶構(gòu)建方式，我們稱之為動(dòng)態(tài)條帶構(gòu)建技術(shù)(DynamicStripeConstruction，DSC)。DSC根據(jù)當(dāng)前系統(tǒng)中數(shù)據(jù)塊的放置信息來組建編碼條帶。放入同一編碼條帶中的數(shù)據(jù)塊需要滿足以下兩種性質(zhì):(1)這些數(shù)據(jù)塊存在副本存儲(chǔ)于同一機(jī)架中，以保證在編碼時(shí)不會(huì)引起跨機(jī)架的數(shù)據(jù)塊下載

3、;(2)這些數(shù)據(jù)塊存在副本分散在其他獨(dú)立的機(jī)架中，以保證編碼完成后不會(huì)引起跨機(jī)架的數(shù)據(jù)塊重新分布。為了在龐大的選擇空間中有效地組建編碼條帶，我們設(shè)計(jì)了一種管理數(shù)據(jù)塊放置信息的數(shù)據(jù)結(jié)構(gòu)，并基于這一數(shù)據(jù)結(jié)構(gòu)提出了一種線性時(shí)間復(fù)雜度的動(dòng)態(tài)條帶構(gòu)建算法。該算法可以以熱插拔的方式應(yīng)用于使用任何數(shù)據(jù)放置方式與糾刪碼配置的分布式集群。為了驗(yàn)證動(dòng)態(tài)條帶構(gòu)建技術(shù)的有效性，我們將DSC實(shí)現(xiàn)在HDFS系統(tǒng)上。在真實(shí)集群的測試實(shí)驗(yàn)中，DSC可以顯著的提高異步編

4、碼的執(zhí)行效率（實(shí)驗(yàn)中最高改進(jìn)可達(dá)81％），并降低其對前臺(tái)任務(wù)進(jìn)程的影響。
　　在系統(tǒng)集成的過程中，我們首先探討了異步編碼中節(jié)點(diǎn)上數(shù)據(jù)局部性與負(fù)載均衡的問題，隨后設(shè)計(jì)了文件間編碼與迭代編碼技術(shù)來優(yōu)化異步編碼在小文件與追加文件場景下的應(yīng)用。為了適應(yīng)分布式集群中不斷變化的數(shù)據(jù)訪問負(fù)載，我們還提出了一種將動(dòng)態(tài)副本與糾刪碼結(jié)合的新型數(shù)據(jù)塊管理架構(gòu)。這種架構(gòu)模式使得我們可以對系統(tǒng)中的數(shù)據(jù)塊進(jìn)行動(dòng)態(tài)的管理，以在提高數(shù)據(jù)可靠性與訪問性能的同時(shí)最小