面向異構(gòu)集群的基于節(jié)點資源動態(tài)調(diào)整的Hadoop調(diào)度優(yōu)化研究.pdf

1、電子商務、金融以及社交網(wǎng)絡等領(lǐng)域的迅猛發(fā)展，帶來了數(shù)據(jù)規(guī)模前所未有的快速增長。大規(guī)模數(shù)據(jù)的存儲和處理成為互聯(lián)網(wǎng)行業(yè)的研究熱點。作為GFS和MapReduce模型的開源實現(xiàn)，Hadoop是一個具有高可靠性、高容錯性、高擴展性的分布式計算和存儲平臺。現(xiàn)在很多集群存在異構(gòu)的情況，傳統(tǒng)的調(diào)度策略在異構(gòu)集群下效率很低。通過對Hadoop資源調(diào)度技術(shù)的分析，并調(diào)研國內(nèi)外最新研究，提出了一種面向異構(gòu)集群的負載自適應的調(diào)度策略。
　　首先，提出了

2、面向異構(gòu)集群的節(jié)點資源動態(tài)調(diào)整的調(diào)度算法。異構(gòu)集群下各個節(jié)點擁有的軟硬件資源量存在差異，因而執(zhí)行任務的能力有所不同。Hadoop資源用slot來描述，每個任務需要一個slot才能運行，傳統(tǒng)的固定節(jié)點slot的配置方法不適合異構(gòu)集群。算法將作業(yè)分為CPU密集型和I/O密集型，并分別為這兩種作業(yè)設置不同的slot數(shù)目限制。算法通過收集集群作業(yè)的實時運行狀況，并分析各個節(jié)點執(zhí)行能力的強弱，動態(tài)調(diào)整各個節(jié)點slot資源數(shù)量。
　　其次，提

3、出了優(yōu)化小作業(yè)完成時間的調(diào)度算法。傳統(tǒng)的作業(yè)調(diào)度算法只有FIFO和FAIR。然而，這兩種作業(yè)調(diào)度策略都沒有考慮作業(yè)之間的差異。異構(gòu)節(jié)點執(zhí)行任務有快慢差別，算法通過收集集群作業(yè)運行的信息將節(jié)點的slot分為fast slot和slow slot，優(yōu)先將fast slot分配給小作業(yè)，并為小作業(yè)預留部分slot。這種調(diào)度策略能夠在不影響大作業(yè)完成時間的情況下減少小作業(yè)的完成時間。
　　最后，針對不同場景對所提出的調(diào)度算法進行了測試分析