面向MapReduce數(shù)據(jù)本地化的調(diào)度方法研究.pdf

1、大數(shù)據(jù)時代的來臨使得云計算成為如今最為炙手可熱的IT技術(shù)。目前，云計算技術(shù)是IT企業(yè)的基石，無論是電腦互聯(lián)網(wǎng)，還是智能手機、GPS等移動終端，其發(fā)展趨勢都是與云計算相結(jié)合。MapReduce的出現(xiàn)將云計算技術(shù)的發(fā)展帶入一個新的階段，對學(xué)術(shù)界和產(chǎn)業(yè)界都產(chǎn)生了深遠的影響。
　　MapReduce是一個用于大規(guī)模數(shù)據(jù)處理的計算框架。數(shù)據(jù)本地化是MapReduce設(shè)計時所遵循的重要原則，也是MapReduce進行任務(wù)調(diào)度的重要目的。本文主

2、要以數(shù)據(jù)本地化為目的研究MapReduce的調(diào)度策略，以提高系統(tǒng)的性能。
　　針對MapReduce集群存在大量非本地任務(wù)的問題，本文對MapReduce的任務(wù)調(diào)度機制進行研究，介紹了MapReduce中非本地任務(wù)選擇算法的局限性，并提出了一種基于節(jié)點負(fù)載的任務(wù)調(diào)度方法。本文通過對節(jié)點的負(fù)載情況進行評價，在作業(yè)執(zhí)行的過程中根據(jù)節(jié)點負(fù)載變化情況進行任務(wù)調(diào)度，使節(jié)點間的負(fù)載趨于均衡。實驗表明，該方法能夠顯著降低非本地任務(wù)的數(shù)量，從而降

3、低數(shù)據(jù)的遷移量，提高系統(tǒng)的性能。
　　針對MapReduce集群中非本地任務(wù)執(zhí)行時間較長的問題，本文對MapReduce的任務(wù)執(zhí)行流程進行研究，分析非本地任務(wù)降低系統(tǒng)效率的原因，并提出了一種基于重疊調(diào)度機制的數(shù)據(jù)預(yù)取技術(shù)。本文通過為非本地任務(wù)引入“預(yù)調(diào)度”狀態(tài)，使任務(wù)執(zhí)行的數(shù)據(jù)讀取和數(shù)據(jù)處理兩個階段重疊執(zhí)行，從而隱藏了數(shù)據(jù)遠程訪問開銷。實驗表明，本方法能夠明顯縮短非本地任務(wù)的執(zhí)行時間，提高系統(tǒng)的資源利用率。
　　針對在Map