面向非對稱環(huán)境的大數(shù)據(jù)系統(tǒng)優(yōu)化機(jī)制.pdf

1、當(dāng)前大數(shù)據(jù)系統(tǒng)適合與節(jié)點硬件相同和負(fù)載較均衡的情況，未考慮節(jié)點之間存儲與計算資源之間存在差異的情況，也缺乏適應(yīng)大數(shù)據(jù)系統(tǒng)運(yùn)行中節(jié)點負(fù)載動態(tài)變化的策略。我們針對節(jié)點硬件配置不同和負(fù)載變化較大的大數(shù)據(jù)系統(tǒng)運(yùn)行環(huán)境，研究和設(shè)計了面向非對稱環(huán)境的大數(shù)據(jù)系統(tǒng)優(yōu)化機(jī)制。
　　本文在分析現(xiàn)有大數(shù)據(jù)系統(tǒng)在數(shù)據(jù)訪問頻率、存儲模式、數(shù)據(jù)處理模式、節(jié)點的資源、數(shù)據(jù)遷移等方面的相關(guān)策略，針對節(jié)點之間存儲與計算資源的差異，設(shè)計了面向非對稱環(huán)境大數(shù)據(jù)系統(tǒng)的結(jié)

2、構(gòu)。
　　本文設(shè)計了面向非對稱環(huán)境的均衡優(yōu)化機(jī)制。根據(jù)數(shù)據(jù)的訪問頻率，計算數(shù)據(jù)熱度;增加數(shù)據(jù)副本的狀態(tài)標(biāo)識，通過在“激活”和“休眠”之間轉(zhuǎn)換數(shù)據(jù)副本的狀態(tài)動態(tài)調(diào)整數(shù)據(jù)副本的數(shù)量，減少冷數(shù)據(jù)的冗余度，增加熱數(shù)據(jù)的冗余度;實現(xiàn)存儲與計算資源的動態(tài)調(diào)度，提高作業(yè)的處理效率，提高大數(shù)據(jù)系統(tǒng)存儲資源的有效利用率。同時設(shè)計了訪問均衡優(yōu)化策略，通過心跳間隔動態(tài)調(diào)整算法和任務(wù)遷移算法，將節(jié)點的處理和存儲資源虛擬化后進(jìn)行測量與分配，當(dāng)某個節(jié)點任務(wù)過

3、多時，合理選擇保存“休眠”狀態(tài)數(shù)據(jù)副本的節(jié)點，通過激活相應(yīng)節(jié)點中的數(shù)據(jù)副本有效遷移任務(wù)，保證任務(wù)的執(zhí)行效率;從而適應(yīng)集群負(fù)載的變化、以及節(jié)點之間計算和存儲資源的差異，提高作業(yè)的執(zhí)行效率。在Hadoop的基礎(chǔ)上實現(xiàn)了面向非對稱環(huán)境的均衡優(yōu)化機(jī)制的原型系統(tǒng)，使用Hadoop基準(zhǔn)測試工具和Email安全檢測的標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行了測試與分析，測試結(jié)果驗證了面向非對稱環(huán)境的均衡優(yōu)化機(jī)制能在各節(jié)點存儲和計算資源不同的集群中，提高25.5％-53％的讀數(shù)

4、據(jù)性能和13％-50％的數(shù)據(jù)本地性，減少10％—50％的任務(wù)作業(yè)時間開銷。
　　本文設(shè)計數(shù)據(jù)動態(tài)分片機(jī)制。針對作業(yè)執(zhí)行效率的要求和節(jié)點資源情況，通過作業(yè)分片大小自適應(yīng)算法和文件數(shù)據(jù)動態(tài)分片算法，在合理選擇作業(yè)執(zhí)行所對應(yīng)數(shù)據(jù)分片大小的基礎(chǔ)上，動態(tài)調(diào)整文件數(shù)據(jù)的分片，提高作業(yè)的執(zhí)行效率。在Hadoop的基礎(chǔ)上實現(xiàn)了數(shù)據(jù)動態(tài)分片機(jī)制的原型系統(tǒng)，使用Hadoop基準(zhǔn)測試工具以及用于Email安全檢測的標(biāo)準(zhǔn)數(shù)據(jù)集對原型系統(tǒng)進(jìn)行了測試與分析，