輕量級MapReduce負載均衡算法研究.pdf

1、自Google提出了MapReduce編程模型后，其作為一種大數(shù)據(jù)處理工具一直被廣泛地使用，如今MapReduce已被認為是最為高效的大數(shù)據(jù)處理工具之一。然而，MapReduce模型也存在不足，其分區(qū)過程中默認的hash分區(qū)會使得各個reduce分區(qū)的數(shù)據(jù)出現(xiàn)傾斜狀況。為此，本文提出了一種能簡易高效地解決MapReduce編程模型中reduce端數(shù)據(jù)劃分造成的數(shù)據(jù)傾斜問題的算法。
　　本論文主要使用了輕量級的采樣方式和啟發(fā)式的分區(qū)

2、劃分策略，來實現(xiàn)Reduce端的數(shù)據(jù)均衡劃分。通過與Map的并行執(zhí)行和對普通鍵值集的精簡來實現(xiàn)輕量級采樣，再通過對采樣數(shù)據(jù)的估算構(gòu)建描述數(shù)據(jù)分布的負載列表來指導分區(qū)劃分。
　　本論文首先利用MapReduce框架的InputFormat接口實現(xiàn)了融合在Map中的并行采樣，并提出了一種基于隨機采樣和蓄水池采樣采樣方法來獲取樣本數(shù)據(jù)集合。隨后，對采樣的數(shù)據(jù)集合進行收集和合并，找出樣本集合中的高頻鍵值，根據(jù)高頻鍵值集合數(shù)量對普通鍵值集合