一種異構(gòu)感知的糾刪碼歸檔方法研究.pdf

1、相對于多副本存儲(chǔ)，糾刪碼在保證數(shù)據(jù)可用性的同時(shí)具有存儲(chǔ)效率高、可擴(kuò)展性好的優(yōu)點(diǎn)。因此，如何將糾刪碼應(yīng)用在多副本集群中成為熱門的研究方向。當(dāng)副本集群為了提升存儲(chǔ)效率，提出冷數(shù)據(jù)編碼請求時(shí)，會(huì)有如下問題：（1）7*24小時(shí)在線的集群無法為數(shù)據(jù)編碼請求提供離線的環(huán)境，編碼過程中的數(shù)據(jù)讀取以及網(wǎng)絡(luò)傳輸和用戶數(shù)據(jù)訪問之間會(huì)存在磁盤和網(wǎng)絡(luò)資源的競爭;（2）當(dāng)冷數(shù)據(jù)在集群中分布不均勻時(shí)，僅考慮數(shù)據(jù)局部性的編碼方式會(huì)導(dǎo)致大量數(shù)據(jù)塊在相同節(jié)點(diǎn)上編碼，最慢

2、的節(jié)點(diǎn)成為了編碼過程的瓶頸；（3）節(jié)點(diǎn)硬件的異構(gòu)和用戶I/O導(dǎo)致集群中節(jié)點(diǎn)可用資源的差異，僅考慮數(shù)據(jù)局部性的調(diào)度方式無法解決編碼過程中負(fù)載不均衡的問題。
　　本研究的主要內(nèi)容與貢獻(xiàn)如下：（1）將每個(gè)節(jié)點(diǎn)可用于編碼的資源（空閑能力）量化，為每個(gè)生產(chǎn)節(jié)點(diǎn)設(shè)定編碼權(quán)重值。節(jié)點(diǎn)權(quán)重值的大小決定分配給該節(jié)點(diǎn)編碼數(shù)據(jù)塊的多少。這樣可以有效地避免編碼速度過慢的節(jié)點(diǎn)成為整個(gè)編碼過程的短板，同時(shí)還可以降低編碼作業(yè)與用戶I/O的資源競爭，從而提高集群

3、的工作效率。（2）提出一種基于時(shí)間窗口的編碼調(diào)度機(jī)制，將以權(quán)重值為基礎(chǔ)的任務(wù)分配以一個(gè)較短的時(shí)間為單位。時(shí)間窗口將一個(gè)長時(shí)間的大作業(yè)劃分為多個(gè)時(shí)間片內(nèi)的小作業(yè)，以小作業(yè)開始時(shí)的用戶負(fù)載預(yù)測一個(gè)時(shí)間窗口的負(fù)載——即假定時(shí)間窗口內(nèi)用戶負(fù)載恒定不變，將動(dòng)態(tài)的節(jié)點(diǎn)負(fù)載轉(zhuǎn)換為靜態(tài)。（3）利用每個(gè)節(jié)點(diǎn)上一個(gè)時(shí)間窗口編碼任務(wù)的完成情況，線性的增加或減少該節(jié)點(diǎn)當(dāng)前時(shí)間窗口的權(quán)重值。這樣的權(quán)重值反饋機(jī)制不斷的修正時(shí)間窗口內(nèi)的節(jié)點(diǎn)空閑能力的偏差。