基于調(diào)度器的Hadoop性能優(yōu)化方法研究.pdf

1、云計算是繼上世紀(jì)80年代大型計算機到客戶端-服務(wù)器的轉(zhuǎn)變后的又一種巨變，近年來在全世界廣泛普及。它將大量網(wǎng)絡(luò)連接的普通計算資源整合起來，構(gòu)成一個更大的計算資源池向用戶提供服務(wù)。在云計算平臺中，Hadoop憑借其開源的優(yōu)勢得到眾多公司以及云計算愛好者的青睞。Hadoop具有可擴展，經(jīng)濟，可靠，高效等特點，能充分利用集群的高速運算和存儲能力來計算指數(shù)級增長的海量數(shù)據(jù)。隨著Hadoop研究和應(yīng)用的逐步深入以及人們對日新月異的信息化社會生活效率

2、和工作效率的提高，優(yōu)化Hadoop的性能以提高任務(wù)的整體響應(yīng)時間成為廣大學(xué)者關(guān)注的重要課題。
　　 為了提高Hadoop的任務(wù)整體響應(yīng)時間，從各個方面優(yōu)化Hadoop的集群性能，使得在更短的時間內(nèi)完成更多的任務(wù)，本文基于任務(wù)信息反饋機制的設(shè)計方法，對Hadoop平臺的性能優(yōu)化方法進行了改進與實現(xiàn)。
　　 首先對目前流行的Hadoop平臺性能優(yōu)化方法進行比較，探討其存在的優(yōu)勢和劣勢。深入研究Hadoop任務(wù)調(diào)度和執(zhí)行流程。

3、然后基于Hadoop調(diào)度模型作動態(tài)（調(diào)度）負(fù)載均衡的研究，對Hadoop默認(rèn)調(diào)度器進行改進，使每個節(jié)點盡可能快地完成任務(wù)，從而使集群整體響應(yīng)時間縮短。
　　 運用任務(wù)信息反饋機制的設(shè)計方法，提出了一種基于CPU占用率的動態(tài)調(diào)度改進算法。本算法以CPU占用率作為負(fù)載指標(biāo)，在循環(huán)分配任務(wù)時根據(jù)反饋的負(fù)載指標(biāo)判斷節(jié)點負(fù)載情況，動態(tài)適應(yīng)負(fù)載變化。在Eclipse平臺上編譯Hadoop jar包，構(gòu)建Hadoop集群，在Hadoop-0.