面向非對(duì)稱環(huán)境的大數(shù)據(jù)系統(tǒng)優(yōu)化機(jī)制.pdf

1、當(dāng)前大數(shù)據(jù)系統(tǒng)適合與節(jié)點(diǎn)硬件相同和負(fù)載較均衡的情況，未考慮節(jié)點(diǎn)之間存儲(chǔ)與計(jì)算資源之間存在差異的情況，也缺乏適應(yīng)大數(shù)據(jù)系統(tǒng)運(yùn)行中節(jié)點(diǎn)負(fù)載動(dòng)態(tài)變化的策略。我們針對(duì)節(jié)點(diǎn)硬件配置不同和負(fù)載變化較大的大數(shù)據(jù)系統(tǒng)運(yùn)行環(huán)境，研究和設(shè)計(jì)了面向非對(duì)稱環(huán)境的大數(shù)據(jù)系統(tǒng)優(yōu)化機(jī)制。
　　本文在分析現(xiàn)有大數(shù)據(jù)系統(tǒng)在數(shù)據(jù)訪問頻率、存儲(chǔ)模式、數(shù)據(jù)處理模式、節(jié)點(diǎn)的資源、數(shù)據(jù)遷移等方面的相關(guān)策略，針對(duì)節(jié)點(diǎn)之間存儲(chǔ)與計(jì)算資源的差異，設(shè)計(jì)了面向非對(duì)稱環(huán)境大數(shù)據(jù)系統(tǒng)的結(jié)

2、構(gòu)。
　　本文設(shè)計(jì)了面向非對(duì)稱環(huán)境的均衡優(yōu)化機(jī)制。根據(jù)數(shù)據(jù)的訪問頻率，計(jì)算數(shù)據(jù)熱度;增加數(shù)據(jù)副本的狀態(tài)標(biāo)識(shí)，通過在“激活”和“休眠”之間轉(zhuǎn)換數(shù)據(jù)副本的狀態(tài)動(dòng)態(tài)調(diào)整數(shù)據(jù)副本的數(shù)量，減少冷數(shù)據(jù)的冗余度，增加熱數(shù)據(jù)的冗余度;實(shí)現(xiàn)存儲(chǔ)與計(jì)算資源的動(dòng)態(tài)調(diào)度，提高作業(yè)的處理效率，提高大數(shù)據(jù)系統(tǒng)存儲(chǔ)資源的有效利用率。同時(shí)設(shè)計(jì)了訪問均衡優(yōu)化策略，通過心跳間隔動(dòng)態(tài)調(diào)整算法和任務(wù)遷移算法，將節(jié)點(diǎn)的處理和存儲(chǔ)資源虛擬化后進(jìn)行測(cè)量與分配，當(dāng)某個(gè)節(jié)點(diǎn)任務(wù)過

3、多時(shí)，合理選擇保存“休眠”狀態(tài)數(shù)據(jù)副本的節(jié)點(diǎn)，通過激活相應(yīng)節(jié)點(diǎn)中的數(shù)據(jù)副本有效遷移任務(wù)，保證任務(wù)的執(zhí)行效率;從而適應(yīng)集群負(fù)載的變化、以及節(jié)點(diǎn)之間計(jì)算和存儲(chǔ)資源的差異，提高作業(yè)的執(zhí)行效率。在Hadoop的基礎(chǔ)上實(shí)現(xiàn)了面向非對(duì)稱環(huán)境的均衡優(yōu)化機(jī)制的原型系統(tǒng)，使用Hadoop基準(zhǔn)測(cè)試工具和Email安全檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行了測(cè)試與分析，測(cè)試結(jié)果驗(yàn)證了面向非對(duì)稱環(huán)境的均衡優(yōu)化機(jī)制能在各節(jié)點(diǎn)存儲(chǔ)和計(jì)算資源不同的集群中，提高25.5％-53％的讀數(shù)

4、據(jù)性能和13％-50％的數(shù)據(jù)本地性，減少10％—50％的任務(wù)作業(yè)時(shí)間開銷。
　　本文設(shè)計(jì)數(shù)據(jù)動(dòng)態(tài)分片機(jī)制。針對(duì)作業(yè)執(zhí)行效率的要求和節(jié)點(diǎn)資源情況，通過作業(yè)分片大小自適應(yīng)算法和文件數(shù)據(jù)動(dòng)態(tài)分片算法，在合理選擇作業(yè)執(zhí)行所對(duì)應(yīng)數(shù)據(jù)分片大小的基礎(chǔ)上，動(dòng)態(tài)調(diào)整文件數(shù)據(jù)的分片，提高作業(yè)的執(zhí)行效率。在Hadoop的基礎(chǔ)上實(shí)現(xiàn)了數(shù)據(jù)動(dòng)態(tài)分片機(jī)制的原型系統(tǒng)，使用Hadoop基準(zhǔn)測(cè)試工具以及用于Email安全檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)原型系統(tǒng)進(jìn)行了測(cè)試與分析，