輕量級(jí)MapReduce負(fù)載均衡算法研究.pdf

1、自Google提出了MapReduce編程模型后，其作為一種大數(shù)據(jù)處理工具一直被廣泛地使用，如今MapReduce已被認(rèn)為是最為高效的大數(shù)據(jù)處理工具之一。然而，MapReduce模型也存在不足，其分區(qū)過(guò)程中默認(rèn)的hash分區(qū)會(huì)使得各個(gè)reduce分區(qū)的數(shù)據(jù)出現(xiàn)傾斜狀況。為此，本文提出了一種能簡(jiǎn)易高效地解決MapReduce編程模型中reduce端數(shù)據(jù)劃分造成的數(shù)據(jù)傾斜問(wèn)題的算法。
　　本論文主要使用了輕量級(jí)的采樣方式和啟發(fā)式的分區(qū)

2、劃分策略，來(lái)實(shí)現(xiàn)Reduce端的數(shù)據(jù)均衡劃分。通過(guò)與Map的并行執(zhí)行和對(duì)普通鍵值集的精簡(jiǎn)來(lái)實(shí)現(xiàn)輕量級(jí)采樣，再通過(guò)對(duì)采樣數(shù)據(jù)的估算構(gòu)建描述數(shù)據(jù)分布的負(fù)載列表來(lái)指導(dǎo)分區(qū)劃分。
　　本論文首先利用MapReduce框架的InputFormat接口實(shí)現(xiàn)了融合在Map中的并行采樣，并提出了一種基于隨機(jī)采樣和蓄水池采樣采樣方法來(lái)獲取樣本數(shù)據(jù)集合。隨后，對(duì)采樣的數(shù)據(jù)集合進(jìn)行收集和合并，找出樣本集合中的高頻鍵值，根據(jù)高頻鍵值集合數(shù)量對(duì)普通鍵值集合