Spark Shuffle的內(nèi)存調(diào)度算法分析及優(yōu)化.pdf

1、隨著分布式計算框架的不斷發(fā)展和普及，Spark以其先進(jìn)的設(shè)計理念，迅速成為開源社區(qū)的熱門研究項(xiàng)目。對于大數(shù)據(jù)計算框架而言，Shuffle過程的設(shè)計優(yōu)劣和性能高低直接影響著整個系統(tǒng)的性能和吞吐量。本文研究的主要內(nèi)容為SparkShuffle過程中不同Task間內(nèi)存分配算法的分析與優(yōu)化。在分析已有Shuffle優(yōu)化算法的基礎(chǔ)上，發(fā)現(xiàn)因各Task對內(nèi)存需求不均衡而造成Shuffle運(yùn)行效率低的瓶頸。針對公平分配內(nèi)存調(diào)度算法的不足，提出了一種基

2、于溢出歷史的自適應(yīng)內(nèi)存調(diào)度算法，并通過典型實(shí)驗(yàn)證明本文算法能有效提高內(nèi)存利用率和程序運(yùn)行效率，提高Spark系統(tǒng)的整體運(yùn)行性能。本文的主要貢獻(xiàn)包括:
　　1)闡述了分布式計算的主流框架MapReduce，包括MapReduce的編程模型、現(xiàn)狀和不足。通過介紹Spark的設(shè)計理念分析了Spark對MapReduce模型的改進(jìn)，比較了兩者的優(yōu)缺點(diǎn)。
　　2)研究了Spark Shuffle的概念、發(fā)展及優(yōu)化過程，通過閱讀分析Sp

3、arkShuffle的源碼研究Shuffle內(nèi)存調(diào)度的思想，指出了公平分配算法存在的不足。
　　3)提出了基于溢出歷史的自適應(yīng)內(nèi)存調(diào)度算法SBSA，解決Spark Shuffle公平分配內(nèi)存調(diào)度算法影響Shuffle運(yùn)行效率的問題。本算法詳細(xì)設(shè)計了空閑內(nèi)存的計算方式、關(guān)鍵Task可從空閑內(nèi)存借用的內(nèi)存比例以及Task可用內(nèi)存的最大閾值。
　　4)通過典型實(shí)驗(yàn)比較了SBSA算法與先來先服務(wù)算法、公平分配調(diào)度算法的性能差異，實(shí)驗(yàn)