HDFS分布式文件系統(tǒng)數(shù)據(jù)放置均衡研究.pdf

1、隨著Internet規(guī)模擴(kuò)大和信息化的提高，對于海量大數(shù)據(jù)的存儲，人們越來越依賴云存儲分布式文件系統(tǒng)。HDFS作為分布式文件系統(tǒng)的典型代表，它運(yùn)用副本管理策略來提高集群的可用性和容錯(cuò)性有著無可比擬的優(yōu)勢。然而對副本管理策略的研究處于初始階段，副本創(chuàng)建、維護(hù)副本一致性和負(fù)載均衡等都是目前計(jì)算機(jī)存儲技術(shù)領(lǐng)域中的重要研究課題。
　　副本創(chuàng)建包括副本個(gè)數(shù)、副本放置位置和創(chuàng)建時(shí)機(jī)等。在HDFS運(yùn)行過程中,它的副本放置位置規(guī)則可以通過副本放置

2、策略來進(jìn)行實(shí)現(xiàn)，然而在現(xiàn)有的副本放置策略中，HDFS默認(rèn)副本放置策略假設(shè)集群是同構(gòu)的并隨機(jī)選擇節(jié)點(diǎn)，它沒有考慮節(jié)點(diǎn)可用存儲空間的情況，即使有一個(gè)節(jié)點(diǎn)可用存儲空間遠(yuǎn)小于其他節(jié)點(diǎn)，該節(jié)點(diǎn)仍然有概率繼續(xù)存儲數(shù)據(jù)塊副本。另外如果客戶端所在節(jié)點(diǎn)屬于 HDFS集群，默認(rèn)策略優(yōu)先將第一個(gè)數(shù)據(jù)塊副本放置在該客戶端，它并沒有考慮該客戶端的可用存儲空間情況，如果某一客戶端一直向 HDFS上傳文件，這個(gè)客戶端可用存儲空間會變得很小。默認(rèn)策略的結(jié)果是造成存儲節(jié)

3、點(diǎn)可用存儲空間差異性，產(chǎn)生可用存儲空間不足的節(jié)點(diǎn)，這些節(jié)點(diǎn)可能由于存儲空間不足造成該節(jié)點(diǎn)存儲數(shù)據(jù)塊副本或者執(zhí)行MapReduce任務(wù)失敗。默認(rèn)策略也不能均衡節(jié)點(diǎn)網(wǎng)絡(luò)負(fù)載，當(dāng)集群中文件被大量讀取或者寫入時(shí)，會增加相關(guān)節(jié)點(diǎn)網(wǎng)絡(luò)負(fù)載，默認(rèn)策略不能將新數(shù)據(jù)塊副本存儲在網(wǎng)絡(luò)負(fù)載小的節(jié)點(diǎn)，分散某些節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載，減少存儲數(shù)據(jù)塊副本的等待時(shí)間。因此，本文重點(diǎn)針對HDFS副本創(chuàng)建策略中的副本放置策略這個(gè)科學(xué)問題進(jìn)行了系統(tǒng)的研究，本文所做的主要工作和創(chuàng)新

4、點(diǎn)如下：
　　（1）提出了一種可用存儲空間敏感的副本放置策略。針對HDFS默認(rèn)副本放置策略不能匹配節(jié)點(diǎn)可用存儲空間和數(shù)據(jù)塊放置數(shù)量的不足，可用存儲空間敏感的副本放置策略根據(jù)實(shí)時(shí)采集的節(jié)點(diǎn)可用存儲空間和節(jié)點(diǎn)訪問連接數(shù)，按照基于可用存儲空間和訪問連接數(shù)的節(jié)點(diǎn)評價(jià)值數(shù)學(xué)模型計(jì)算節(jié)點(diǎn)的評價(jià)值，將該評價(jià)值作為管理節(jié)點(diǎn)選擇存儲節(jié)點(diǎn)的標(biāo)準(zhǔn)，將每個(gè)數(shù)據(jù)塊副本存儲在最佳副本存儲節(jié)點(diǎn)上。實(shí)驗(yàn)結(jié)果表明，可用存儲空間敏感的副本放置策略通過在不同可用存儲空

5、間的節(jié)點(diǎn)上進(jìn)行針對性數(shù)據(jù)塊副本放置，實(shí)現(xiàn)了匹配節(jié)點(diǎn)可用存儲空間與數(shù)據(jù)塊放置數(shù)量，避免了可用存儲空間不足節(jié)點(diǎn)產(chǎn)生，大大降低了節(jié)點(diǎn)由于可用存儲空間不足而存儲數(shù)據(jù)塊副本失敗和執(zhí)行MapReduce任務(wù)失敗的可能性。
　?。?）提出了一種網(wǎng)絡(luò)負(fù)載敏感的副本均衡策略。針對HDFS默認(rèn)副本放置策略在有大量文件訪問和寫入時(shí)，不能將網(wǎng)絡(luò)數(shù)據(jù)流量分擔(dān)到多個(gè)節(jié)點(diǎn)，無法均衡節(jié)點(diǎn)網(wǎng)絡(luò)負(fù)載問題，網(wǎng)絡(luò)負(fù)載敏感的副本均衡策略通過周期性探測存儲節(jié)點(diǎn)的網(wǎng)卡信息，將

6、各個(gè)存儲節(jié)點(diǎn)一段時(shí)間內(nèi)的收發(fā)數(shù)據(jù)塊數(shù)量作為衡量網(wǎng)絡(luò)負(fù)載的指標(biāo)，在存儲數(shù)據(jù)塊副本時(shí)，綜合考慮了節(jié)點(diǎn)網(wǎng)絡(luò)負(fù)載和可用存儲空間兩個(gè)目標(biāo)，當(dāng)機(jī)架中高網(wǎng)絡(luò)負(fù)載節(jié)點(diǎn)與低網(wǎng)絡(luò)負(fù)載節(jié)點(diǎn)平均存儲空間差值超過5G時(shí)，選擇機(jī)架中可用存儲空間最大的節(jié)點(diǎn)存儲數(shù)據(jù)塊副本，如果不超過5G，則隨機(jī)選擇一個(gè)低網(wǎng)絡(luò)負(fù)載節(jié)點(diǎn)存儲數(shù)據(jù)塊副本。通過實(shí)驗(yàn)驗(yàn)證了網(wǎng)絡(luò)負(fù)載敏感的副本均衡策略通過對高網(wǎng)絡(luò)負(fù)載節(jié)點(diǎn)與低網(wǎng)絡(luò)負(fù)載節(jié)點(diǎn)平均存儲空間的比較，實(shí)現(xiàn)了均衡網(wǎng)絡(luò)負(fù)載，避免了節(jié)點(diǎn)由于高網(wǎng)絡(luò)負(fù)