處理MapReduce模型中數(shù)據(jù)傾斜問(wèn)題的算法.pdf

1、在大數(shù)據(jù)時(shí)代，每天都有各種各樣的電子設(shè)備（如：個(gè)人計(jì)算機(jī)，移動(dòng)智能電話，服務(wù)器等）產(chǎn)生大量的多維度的數(shù)據(jù)。由于MapReduce具有強(qiáng)大的可擴(kuò)展性、可用性和可靠性，成為處理大數(shù)據(jù)的著名編程模型。然而，MapReduce編程模型同樣具有其局限性，如何減少集群的處理總時(shí)間就是其中之一?？茖W(xué)家發(fā)現(xiàn)數(shù)據(jù)傾斜是導(dǎo)致任務(wù)總完工時(shí)間較大的主要原因，并且已有研究團(tuán)隊(duì)從不同的角度提出的一些解決方法，但是這些方法全部是基于第一代Hadoop系統(tǒng)，目前還沒(méi)有

2、基于Hadoop二代（即Hadoop-Yarn）的可靠算法的提出與實(shí)現(xiàn)。
　　本論文正是針對(duì)上面提出的問(wèn)題，以MapReduce模型中的數(shù)據(jù)傾斜問(wèn)題為研究對(duì)象，對(duì)目前解決MapReduce模型中數(shù)據(jù)傾斜問(wèn)題方法的不足進(jìn)行了深入分析，對(duì)如何通過(guò)降低數(shù)據(jù)傾斜的程度來(lái)減少任務(wù)總完工時(shí)間進(jìn)行了詳盡的研究。主要內(nèi)容為：
　　首先，在本文中，對(duì)六種算法（Hadoop默認(rèn)的推測(cè)執(zhí)行，SkewReduce，SkewTune， iShuffl

3、e，LEEN和LIBRA）在架構(gòu)、主要特征、核心算法、性能度量和評(píng)估方法方面進(jìn)行了分析與對(duì)比，以充分理解和掌握數(shù)據(jù)傾斜問(wèn)題最新研究狀況和第一代算法的優(yōu)缺點(diǎn)；
　　其次，針對(duì)一批Hadoop任務(wù)的數(shù)據(jù)傾斜問(wèn)題，通過(guò)對(duì)資源均衡化，動(dòng)態(tài)調(diào)整Hadoop資源的分配，提出離線和在線的HScheduler算法，減小數(shù)據(jù)傾斜對(duì)總完工時(shí)間的影響，并通過(guò)計(jì)算算法的競(jìng)爭(zhēng)比來(lái)提升該算法的質(zhì)量；
　　接著，針對(duì)單任務(wù)的數(shù)據(jù)傾斜問(wèn)題，提出基于Hado