Storm中自適應(yīng)任務(wù)調(diào)度的研究與優(yōu)化.pdf

1、身處大數(shù)據(jù)時(shí)代的開端，越來越多先進(jìn)的理念和技術(shù)在更新著我們對(duì)于世界的認(rèn)識(shí)和理解，同時(shí)它們也在不斷地提高著人類收集數(shù)據(jù)，處理數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)，理解數(shù)據(jù)的能力。二十一世紀(jì)初，Google公司的三篇論文（BigTable，MapReduce，GFS)開啟了全世界范圍內(nèi)對(duì)大數(shù)據(jù)技術(shù)的研究，許多借鑒Google理念的開源項(xiàng)目如雨后春筍般破土而出帶動(dòng)了開源技術(shù)的發(fā)展。
　　伴隨著大數(shù)據(jù)技術(shù)的發(fā)展，人們對(duì)數(shù)據(jù)的運(yùn)用能力也達(dá)到了前所未有的水平，各種

2、各樣的應(yīng)用場(chǎng)景需要不同的系統(tǒng)和平臺(tái)。對(duì)于實(shí)時(shí)響應(yīng)要求較高的一些應(yīng)用，例如監(jiān)控系統(tǒng)，社交網(wǎng)站話題熱點(diǎn)分析等等開始將目光投向流式數(shù)據(jù)處理。Twitter公司2011年開源的Storm就是其中的佼佼者，目前正被許多大公司所使用。然而 Storm本身的調(diào)度機(jī)制卻存在著一些問題。
　　本文詳細(xì)地介紹了 Storm中默認(rèn)調(diào)度策略的執(zhí)行過程和應(yīng)用場(chǎng)景，并對(duì)其中存在的一些缺陷進(jìn)行了詳細(xì)的分析和驗(yàn)證。針對(duì)其存在的這些缺陷，本文致力于優(yōu)化Storm的

3、任務(wù)調(diào)度機(jī)制并提升運(yùn)行在Storm上的拓?fù)涞男阅?，并最終實(shí)現(xiàn)了基于負(fù)載監(jiān)控的自適應(yīng)任務(wù)調(diào)度策略。Storm的默認(rèn)調(diào)度策略使用了簡單的Round-robin的方法來實(shí)現(xiàn)任務(wù)的調(diào)度，可是這種簡單的調(diào)度機(jī)制完全無法根據(jù)集群實(shí)時(shí)的負(fù)載狀態(tài)調(diào)整運(yùn)行其上的拓?fù)涞恼{(diào)度方案。同時(shí)，Storm中對(duì)于配置不合理的拓?fù)湟餐耆珱]有處理，只是將這個(gè)問題拋給了最終用戶來解決。本文實(shí)現(xiàn)的自適應(yīng)任務(wù)調(diào)度的核心思想就是在監(jiān)控整個(gè)集群運(yùn)行狀態(tài)的基礎(chǔ)上，對(duì)于運(yùn)行中的拓?fù)湟约?/p>

4、還未運(yùn)行過的拓?fù)涮峁└玫恼{(diào)度方案，最大程度上減少不必要的開銷，提升整個(gè) Storm集群的性能。
　　本文的主要貢獻(xiàn)如下：
　　1.深入理解和研究Storm中的任務(wù)調(diào)度機(jī)制，提出了許多存在的缺陷和優(yōu)化的方向并通過實(shí)驗(yàn)進(jìn)行了嚴(yán)謹(jǐn)?shù)尿?yàn)證；
　　2.在Storm的基礎(chǔ)架構(gòu)上實(shí)現(xiàn)了一個(gè)負(fù)載監(jiān)控器，可以實(shí)時(shí)的獲取Storm集群上運(yùn)行中的拓?fù)渲芯唧w執(zhí)行線程的數(shù)據(jù)以及集群中節(jié)點(diǎn)的負(fù)載信息，為整個(gè)調(diào)度策略提供了數(shù)據(jù)支持；
　　3