移動(dòng)Hadoop集群監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)隨分布式計(jì)算理論的發(fā)展成熟和大數(shù)據(jù)技術(shù)的落地，在技術(shù)潮流和國(guó)家政策導(dǎo)向的雙重推動(dòng)下，分布式集群系統(tǒng)的應(yīng)用正日漸廣泛。集群監(jiān)控需要對(duì)集群環(huán)境和節(jié)點(diǎn)的硬件與服務(wù)進(jìn)行便捷地監(jiān)控并及時(shí)察覺(jué)和處理異常狀況。目前的Hadoop集群監(jiān)控系統(tǒng)通常采用電子郵件和SMS短消息進(jìn)行異常告警，運(yùn)維人員在接到告警后需置身現(xiàn)場(chǎng)或通過(guò)PC接入目標(biāo)VPN(Virtual Private Network，虛擬專(zhuān)用網(wǎng)絡(luò))網(wǎng)絡(luò)方能查看集群狀況并組織人員排查解決異常，這

2、在一定程度上影響運(yùn)維人員對(duì)集群異常的響應(yīng)速度，工作效率受到限制。為解決上述問(wèn)題，需要開(kāi)發(fā)基于通用移動(dòng)智能設(shè)備的Hadoop集群監(jiān)控系統(tǒng)。
　　論文選題來(lái)源于實(shí)際工程應(yīng)用，從大數(shù)據(jù)分析處理生產(chǎn)現(xiàn)場(chǎng)運(yùn)維人員的實(shí)際需求出發(fā)，提出了一種基于Hybrid-App（混合模式移動(dòng)應(yīng)用）的移動(dòng)Hadoop集群監(jiān)控系統(tǒng)解決方案，滿足以通用移動(dòng)端智能設(shè)備監(jiān)控Hadoop集群的需求。系統(tǒng)具體的功能包括節(jié)點(diǎn)狀態(tài)監(jiān)控、Hadoop服務(wù)監(jiān)控、告警推送和配置管

3、理等功能。核心監(jiān)控系統(tǒng)采用C/S架構(gòu)，系統(tǒng)Server端集成了Ganglia和Nagios作為指標(biāo)采集器和告警引擎，以RESTful風(fēng)格的API為查詢Hadoop集群狀態(tài)和執(zhí)行運(yùn)維任務(wù)提供接口，通過(guò)內(nèi)置基于Jersey的反向代理模塊為移動(dòng)端提供Ganglia或Nagios的Web-App，同時(shí)提供移動(dòng)端接口和Agent端接口，用來(lái)同移動(dòng)端應(yīng)用和系統(tǒng)Agent端通信;系統(tǒng)Agent端部署于被監(jiān)控節(jié)點(diǎn)，通過(guò)心跳連接向系統(tǒng)Server端上報(bào)自

4、身及節(jié)點(diǎn)部分狀態(tài)信息，同時(shí)拉取系統(tǒng)Server端緩存的指令隊(duì)列，進(jìn)而在本地依次執(zhí)行隊(duì)列中的指令;移動(dòng)端集群監(jiān)控交互界面由Web-App的形式加載，以此簡(jiǎn)化跨平臺(tái)開(kāi)發(fā)過(guò)程，并很大程度上解決了Android平臺(tái)的碎片化問(wèn)題。考慮到系統(tǒng)的數(shù)據(jù)安全，論文參考SSL（Secure Socket Layer，安全套接層）協(xié)議為移動(dòng)端與服務(wù)端設(shè)計(jì)和實(shí)現(xiàn)了一種輕量級(jí)安全信道。
　　作者參與了該系統(tǒng)需求分析及設(shè)計(jì)研發(fā)全過(guò)程，重點(diǎn)完成對(duì)系統(tǒng)服務(wù)器端安

5、全模塊、系統(tǒng)服務(wù)器端的移動(dòng)端接口模塊、系統(tǒng)Agent端的指令隊(duì)列模塊和指令執(zhí)行器模塊、安全信道協(xié)議包以及移動(dòng)端Android平臺(tái)應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)。此外也參與了系統(tǒng)其它組件的開(kāi)發(fā)與測(cè)試工作，并在生產(chǎn)環(huán)境對(duì)該系統(tǒng)初代版本進(jìn)行了集成部署。
　　論文設(shè)計(jì)完成的基于通用移動(dòng)端智能設(shè)備的Hadoop集群監(jiān)控系統(tǒng)目前處于內(nèi)部測(cè)試階段，運(yùn)維人員可通過(guò)移動(dòng)端平臺(tái)接收Nagios告警，也可在任何移動(dòng)智能設(shè)備上開(kāi)啟集群監(jiān)控的交互界面，大大提高了對(duì)集群異