Spark計算環(huán)境中的種間數據均衡放置算法研究.pdf

1、隨著網絡信息技術的不斷發(fā)展，全球使用互聯網的人數在持續(xù)的增加，互聯網已經在很多行業(yè)進行實踐和應用，帶來了互聯網數據的批量式增加，分析處理這些海量的互聯網數據是一個至關重要的現實問題，同時也給分布式計算提供了新的發(fā)展機遇。Google提出的MapReduce，它的特點是可靠性高、編程簡單、能自動并行處理作業(yè)，是一種用于處理大數據的分布式并行編程模型。Spark是基于內存計算的分布式并行計算框架，Spark通過引入RDD數據模型及基于內存的

2、運算模式，使其能很好地適應大數據的數據挖掘這中場景，并且在迭代計算方面優(yōu)于Hadoop，迅速成為了廣大企業(yè)、學者的研究重點。此外，很多科研單位和企業(yè)開始在海量數據的處理和研究中開始應用Spark。
　　自MapReduce變成一個高效的和流行的并行數據處理編程框架，中間數據key值的偏斜成為影響系統(tǒng)性能的一個重要瓶頸。當MapReduce處理的數據分布不均勻時，會造成有些任務比其他任務運行較慢的情況，而整個作業(yè)的執(zhí)行時間是由最慢的

3、那個任務決定的，當處理數據存在傾斜會導致處理數據分布不平衡從而產生“短腿”作業(yè)，最終影響整體的運行效果。因此增加了整個作業(yè)的完成時間，使系統(tǒng)性能下降。MapReduce中數據傾斜問題可以通過統(tǒng)計key值頻率提前制定分配方案的方法來解決。
　　為解決在Spark計算框架下shuffle過程中的buckets容器負載不平衡問題。本文提出了對中間數據塊分割和組合算法SCID(segmentation and combinationalg

4、orithm for skew intermediate data)。由于keys值的數量不可統(tǒng)計，除非輸入數據被map任務處理，因此本文基于蓄水池的采樣算法以得到中間key值的分布數據。對比原始buckets中數據加載機制，SCID根據每個map任務的鍵/值元組的數據大小進行排序，并有序的填充到相關buckets中。如果一個cluster超過當前的buckets容量將被分割。在填充滿這個buckets后，其余clusters將進入下一

5、次迭代，通過這種方式，數據的總大小在每個bucket大約是相等的。對于每一個map任務，每個reduce任務會從一個特定的buckets獲取到中間結果，這樣每個bucket中map的任務數量在reduce任務端達到負載均衡。我們在Spark1.1.0上運行SCID算法并通過廣泛使用的標準Benchmark評估其性能，比如:Sort，TextSearch，Word Count。實驗結果表明，我們的算法不僅可以實現更高的總體平均負載平衡性能