Storm中自適應(yīng)任務(wù)調(diào)度的研究與優(yōu)化.pdf

1、身處大數(shù)據(jù)時代的開端，越來越多先進的理念和技術(shù)在更新著我們對于世界的認識和理解，同時它們也在不斷地提高著人類收集數(shù)據(jù)，處理數(shù)據(jù)，存儲數(shù)據(jù)，理解數(shù)據(jù)的能力。二十一世紀初，Google公司的三篇論文（BigTable，MapReduce，GFS)開啟了全世界范圍內(nèi)對大數(shù)據(jù)技術(shù)的研究，許多借鑒Google理念的開源項目如雨后春筍般破土而出帶動了開源技術(shù)的發(fā)展。
　　伴隨著大數(shù)據(jù)技術(shù)的發(fā)展，人們對數(shù)據(jù)的運用能力也達到了前所未有的水平，各種

2、各樣的應(yīng)用場景需要不同的系統(tǒng)和平臺。對于實時響應(yīng)要求較高的一些應(yīng)用，例如監(jiān)控系統(tǒng)，社交網(wǎng)站話題熱點分析等等開始將目光投向流式數(shù)據(jù)處理。Twitter公司2011年開源的Storm就是其中的佼佼者，目前正被許多大公司所使用。然而 Storm本身的調(diào)度機制卻存在著一些問題。
　　本文詳細地介紹了 Storm中默認調(diào)度策略的執(zhí)行過程和應(yīng)用場景，并對其中存在的一些缺陷進行了詳細的分析和驗證。針對其存在的這些缺陷，本文致力于優(yōu)化Storm的

3、任務(wù)調(diào)度機制并提升運行在Storm上的拓撲的性能，并最終實現(xiàn)了基于負載監(jiān)控的自適應(yīng)任務(wù)調(diào)度策略。Storm的默認調(diào)度策略使用了簡單的Round-robin的方法來實現(xiàn)任務(wù)的調(diào)度，可是這種簡單的調(diào)度機制完全無法根據(jù)集群實時的負載狀態(tài)調(diào)整運行其上的拓撲的調(diào)度方案。同時，Storm中對于配置不合理的拓撲也完全沒有處理，只是將這個問題拋給了最終用戶來解決。本文實現(xiàn)的自適應(yīng)任務(wù)調(diào)度的核心思想就是在監(jiān)控整個集群運行狀態(tài)的基礎(chǔ)上，對于運行中的拓撲以及

4、還未運行過的拓撲提供更好的調(diào)度方案，最大程度上減少不必要的開銷，提升整個 Storm集群的性能。
　　本文的主要貢獻如下：
　　1.深入理解和研究Storm中的任務(wù)調(diào)度機制，提出了許多存在的缺陷和優(yōu)化的方向并通過實驗進行了嚴謹?shù)尿炞C；
　　2.在Storm的基礎(chǔ)架構(gòu)上實現(xiàn)了一個負載監(jiān)控器，可以實時的獲取Storm集群上運行中的拓撲中具體執(zhí)行線程的數(shù)據(jù)以及集群中節(jié)點的負載信息，為整個調(diào)度策略提供了數(shù)據(jù)支持；
　　3