云計算平臺Hadoop負載均衡研究.pdf

1、負載均衡在Hadoop集群系統(tǒng)中十分重要，合理的負載均衡策略能提高集群的性能，同時也可以改善用戶體驗。Hadoop集群的任務(wù)調(diào)度策略和調(diào)度方式對負載分配有很大影響，但是目前Hadoop集群的調(diào)度方式?jīng)]有考慮到負載的均衡問題。本文主要是從任務(wù)調(diào)度的角度對集群負載進行研究，在任務(wù)調(diào)度程中就考慮到負載均衡，比當集群負載已經(jīng)嚴重失衡時再調(diào)整更有意義。
　　本文詳細介紹了云計算、MapReduce分布式計算框架和HDFS及MapReduce

2、的Java開源實現(xiàn)Hadoop，重點分析了Hadoop中作業(yè)執(zhí)行的過程和當前Hadoop中常見的調(diào)度算法FIFO、CapacityScheduler和FairScheduler。充分利用TaskTracker請求新任務(wù)的Heartbeat信息，從任務(wù)調(diào)度的角度出發(fā)，提出了動態(tài)反饋的負載均衡調(diào)度方式(DynamicFeedbackLoadBalance，DFLB)。主要是在作業(yè)執(zhí)行過程收集相關(guān)信息，反饋給JobTracker，在新任務(wù)分配

3、時利用這些信息，并在新任務(wù)執(zhí)行時再收集執(zhí)行信息，最終形成一個收集-反饋-利用-收集這樣一個閉環(huán)。本文對集群的負載均衡情況進行了數(shù)學(xué)定義，為任務(wù)調(diào)度時任務(wù)分配情況是否合理提供了考慮和判斷的依據(jù)。另外考慮到作業(yè)的公平性，在調(diào)度過程中提出了作業(yè)的動態(tài)優(yōu)先級。
　　在分析完動態(tài)反饋負載均衡的流程后，動手搭建了Hadoop集群對研究結(jié)果進行驗證，對試驗結(jié)果進行對比分析，結(jié)果表明DFLB調(diào)度方式可以使集群負載達到均衡狀態(tài)，作業(yè)的平均響應(yīng)時間較