基于MapReduce數據傾斜的負載均衡算法研究.pdf

1、MapReduce作為一種分布式編程模型，被廣泛應用于大規(guī)模和高維度數據集的處理，在海量數據處理中顯示出較好的并行性以及擴展性。其采用簡單通用的Hash函數對數據進行劃分，當數據分布不均勻時，常會出現數據傾斜的問題?，F有的解決數據傾斜方法多是增添一輪采樣操作，確定key值頻率再重新執(zhí)行數據分區(qū)。但是增加的采樣作業(yè)會延遲原作業(yè)的運行，例如基于MapReduce實現的并行聚類算法需要進行多次迭代運算，且對于各輪計算，reducer的數據分布

2、情況不盡相同，現有的方法將增加多輪采樣作業(yè)。
　　針對該問題，本文提出一種動態(tài)分區(qū)策略，當發(fā)生數據傾斜時，更改剩余數據分區(qū)函數以解決數據劃分的不均衡。
　　首先，在Map運行過程中增加計數器，統計經Hash法分到各reducer的數據量或記錄數，并將這些消息通過心跳機制發(fā)送到JobTrackcr;
　　然后，JobTrackcr根據全局的分區(qū)信息建立數據傾斜模型，得出各reducer負載情況用以判斷存在數據傾斜的red

3、ucer;
　　最后，JobTrackcr計算傾斜reducer與負載較輕reducer的hash差值，即分區(qū)偏移值，并將它發(fā)送到Partitioner用來在分區(qū)過程中動態(tài)修改原分區(qū)函數。該函數中剩余分區(qū)的hash結果將加上其對應的偏移值，傾斜數據就會發(fā)送到負載較輕的reducer上處理，使各節(jié)點的負載達到均衡。
　　此外，本文考慮集群中節(jié)點的軟硬件異構性，在數據傾斜模型中加入各reducer性能參數，使本文方法在異構的集群