基于Maxdiff直方圖的MapReduce負載均衡研究.pdf

1、近年來，隨著信息技術的快速發(fā)展，互聯網、社交網絡和物理信息系統等技術漸趨成熟，物聯網領銜的云計算、混合云計算和自然語言問答等新興技術突飛猛進，科學研究、電子商務和醫(yī)療保健等領域累積的數據已達 TB級以上，大數據已經普遍存在于各個領域。傳統數據處理技術在性能擴展方面遭遇瓶頸，已經不能滿足大數據的分析需求，以MapReduce為代表的批處理計算技術引起了學術界和工業(yè)界的廣泛關注。MapReduce計算模型充分利用分布式計算和存儲資源，把數據

2、和計算任務分配到數以千計的廉價物理節(jié)點上，提供海量存儲能力和并行計算能力。作為處理海量數據的分布式大規(guī)模集群計算框架，MapReduce性能好、性價比高、穩(wěn)定性強，因此成為大數據環(huán)境下備受關注的數據處理技術，MapReduce負載均衡問題作為影響集群吞吐率的關鍵因素成為學術界的研究熱點。分布式計算環(huán)境下，數據分布的均勻程度很大程度上影響著集群的性能。然而，當前MapReduce在數據混洗階段多采用哈希隨機劃分為Reduce階段分配數據，

3、當數據分布傾斜時，會造成Reduce階段各節(jié)點負載不均衡，從而導致集群吞吐率降低。
　　本文提出一種基于Maxdiff直方圖的負載均衡方法 MHLB(Maxdiff Histogram Load Balance)。MHLB首先基于預處理技術，采用Maxdiff直方圖估計Map階段輸出中間結果的數據分布情況；然后基于貪心策略提出改進的數據劃分方法，實現數據混洗過后數據記錄的均衡劃分。實驗結果證明，在同構集群下，較之標準MapRedu