Hadoop平臺下的負載均衡優(yōu)化研究與改進.pdf

1、在云計算、大數據環(huán)境下，負載均衡問題逐漸成為研究的焦點之一。負載均衡是實現(xiàn)集群最優(yōu)調度的主要目標之一，計算節(jié)點的負載不均衡，就會導致云平臺上任務執(zhí)行效率低、嚴重浪費資源等問題。當Hadoop集群中任務規(guī)模很大并且較多節(jié)點負載較高時，進一步優(yōu)化調度算法可有效避免集群節(jié)點間出現(xiàn)負載極其不均衡的情況。本文研究了Hadoop集群的負載均衡機制，并且對分區(qū)算法和智能算法分別進行了相應的改進，以提升集群的效率和性能。
　　本研究主要內容包括：

2、⑴針對Hadoop平臺自帶的分區(qū)算法未考慮數據值的密集程度而造成的數據非均勻劃分情況，本文提出對分區(qū)數目進行擴充，并在運行中加入動態(tài)任務轉移機制，充分利用空閑節(jié)點平衡高負載節(jié)點，以在保證負載均衡的同時，提高集群的資源利用率。⑵充分利用兩個不同智能算法各自的優(yōu)點，克服兩者的缺點，可以有效地提高現(xiàn)有算法的優(yōu)化效果。因此本文利用蟻群算法優(yōu)秀的全局搜索能力與蜂群算法優(yōu)秀的橫向搜索能力，將兩個智能算法進行融合，提出了雙群融合智能算法，使二者充分發(fā)