基于Agent-aid的Map-Reduce架構(gòu)負(fù)載平衡優(yōu)化研究與設(shè)計(jì).pdf

1、Map-Reduce架構(gòu)為大數(shù)據(jù)集云計(jì)算中復(fù)雜任務(wù)的分解和子任務(wù)的管理提供了一種新穎的計(jì)算模式。然而，系統(tǒng)中數(shù)據(jù)集的分布狀況會(huì)對(duì)云計(jì)算的效率產(chǎn)生極大的影響。在本文中，我們針對(duì)諸如分布式數(shù)據(jù)挖掘等數(shù)據(jù)密集型的云計(jì)算運(yùn)用，提出了一個(gè)新穎的模型，用于平衡分布式系統(tǒng)數(shù)據(jù)集的分布，從而提高整個(gè)云計(jì)算的效率。
　　本文在經(jīng)典的Map-Reduce結(jié)構(gòu)模型之上增加了一個(gè)Agent層對(duì)其進(jìn)行擴(kuò)展，并將數(shù)據(jù)塊的負(fù)載調(diào)節(jié)請(qǐng)求抽象為 Token表示。文

2、中對(duì)系統(tǒng)的負(fù)載調(diào)節(jié)分為兩個(gè)部分：負(fù)載遷移調(diào)節(jié)和數(shù)據(jù)塊副本數(shù)調(diào)節(jié)。在負(fù)載遷移調(diào)節(jié)中，Agent可以根據(jù)以往收到的資源請(qǐng)求 Token推測(cè)出系統(tǒng)的局部狀態(tài)，從而為后續(xù)的 Token制定更加合理的路由策略，使其能夠快速到達(dá)目標(biāo)節(jié)點(diǎn)，從而高效的實(shí)現(xiàn)系統(tǒng)負(fù)載的均衡。在數(shù)據(jù)塊副本數(shù)調(diào)節(jié)中，Agent可以根據(jù)系統(tǒng)中一段時(shí)期內(nèi)數(shù)據(jù)塊的訪問(wèn)熱度狀態(tài)，動(dòng)態(tài)的對(duì)各個(gè)數(shù)據(jù)塊副本數(shù)進(jìn)行調(diào)整，從而分擔(dān)高熱數(shù)據(jù)節(jié)點(diǎn)的負(fù)載，實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。
　　本文的主要貢

3、獻(xiàn)在于提出了一個(gè)Agent-aid系統(tǒng)對(duì)經(jīng)典Map-Reduce結(jié)構(gòu)進(jìn)行擴(kuò)展，輔助其進(jìn)行系統(tǒng)負(fù)載的調(diào)節(jié)。針對(duì) Map-Reduce結(jié)構(gòu)中子任務(wù)分配的特點(diǎn)，本文提出了負(fù)載遷移算法，對(duì)高負(fù)載節(jié)點(diǎn)進(jìn)行負(fù)載的調(diào)節(jié)，并提出了一種高效的啟發(fā)式路由算法對(duì) Token的路由決策進(jìn)行支持。另一方面，針對(duì)系統(tǒng)中數(shù)據(jù)的訪問(wèn)特點(diǎn)，本文提出了數(shù)據(jù)塊副本數(shù)調(diào)整算法，對(duì)訪問(wèn)熱度不同的數(shù)據(jù)塊進(jìn)行副本數(shù)的調(diào)整，平衡各個(gè)節(jié)點(diǎn)的負(fù)載。在本文的最后，我們制定了詳盡的實(shí)驗(yàn)，從多