處理MapReduce模型中數(shù)據(jù)傾斜問題的算法.pdf

1、在大數(shù)據(jù)時(shí)代，每天都有各種各樣的電子設(shè)備（如：個(gè)人計(jì)算機(jī)，移動(dòng)智能電話，服務(wù)器等）產(chǎn)生大量的多維度的數(shù)據(jù)。由于MapReduce具有強(qiáng)大的可擴(kuò)展性、可用性和可靠性，成為處理大數(shù)據(jù)的著名編程模型。然而，MapReduce編程模型同樣具有其局限性，如何減少集群的處理總時(shí)間就是其中之一?？茖W(xué)家發(fā)現(xiàn)數(shù)據(jù)傾斜是導(dǎo)致任務(wù)總完工時(shí)間較大的主要原因，并且已有研究團(tuán)隊(duì)從不同的角度提出的一些解決方法，但是這些方法全部是基于第一代Hadoop系統(tǒng)，目前還沒有

2、基于Hadoop二代（即Hadoop-Yarn）的可靠算法的提出與實(shí)現(xiàn)。
　　本論文正是針對上面提出的問題，以MapReduce模型中的數(shù)據(jù)傾斜問題為研究對象，對目前解決MapReduce模型中數(shù)據(jù)傾斜問題方法的不足進(jìn)行了深入分析，對如何通過降低數(shù)據(jù)傾斜的程度來減少任務(wù)總完工時(shí)間進(jìn)行了詳盡的研究。主要內(nèi)容為：
　　首先，在本文中，對六種算法（Hadoop默認(rèn)的推測執(zhí)行，SkewReduce，SkewTune， iShuffl

3、e，LEEN和LIBRA）在架構(gòu)、主要特征、核心算法、性能度量和評估方法方面進(jìn)行了分析與對比，以充分理解和掌握數(shù)據(jù)傾斜問題最新研究狀況和第一代算法的優(yōu)缺點(diǎn)；
　　其次，針對一批Hadoop任務(wù)的數(shù)據(jù)傾斜問題，通過對資源均衡化，動(dòng)態(tài)調(diào)整Hadoop資源的分配，提出離線和在線的HScheduler算法，減小數(shù)據(jù)傾斜對總完工時(shí)間的影響，并通過計(jì)算算法的競爭比來提升該算法的質(zhì)量；
　　接著，針對單任務(wù)的數(shù)據(jù)傾斜問題，提出基于Hado