Hadoop自動化運維管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、近年來，隨著互聯(lián)網(wǎng)的快速發(fā)展，特別是移動互聯(lián)網(wǎng)的到來，上網(wǎng)的人群越來越多，隨之而來的是產(chǎn)生大量的數(shù)據(jù)。同時，數(shù)據(jù)的增長速度十分迅速，對海量數(shù)據(jù)進行存儲與計算將變得非常的困難。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，通過Hadoop能夠幫助很多企業(yè)解決海量數(shù)據(jù)的存儲與計算問題。Hadoop作為一個開源的分布式框架，以一種可靠、高效、可伸縮的方式進行數(shù)據(jù)處理，受到很多公司的青睞，很多大公司的Hadoop集群的規(guī)模已經(jīng)非常龐

2、大。所以，對Hadoop集群進行有效的運維，可以極大地提升運維人員工作的效率，避免重復(fù)繁雜的運維工作。
　　Hadoop自動化運維管理系統(tǒng)是公司實際的Hadoop運維項目，嚴(yán)格按照標(biāo)準(zhǔn)軟件系統(tǒng)建設(shè)流程進行。項目從數(shù)據(jù)流上可劃分成兩大部分，基于Ansible的Hadoop自動化運維平臺和基于J2EE（Java2 Platform Enterprise Edition，Java2平臺企業(yè)版）的Hadoop管理平臺。其中，Hadoop自

3、動化運維平臺主要是通過Ansible對Hadoop集群進行自動化運維，Hadoop管理平臺主要是對Hadoop集群的信息進行管理，給用戶提供工單服務(wù)，給運維人員提供一個基于Web的可視化圖形操作界面，對接Ansible。本人獨立完成Hadoop管理平臺的設(shè)計與實現(xiàn)，主要包括五個模塊，分別是資產(chǎn)管理模塊、權(quán)限管理模塊、工單模塊、運維模塊、用戶中心模塊。資產(chǎn)管理主要負(fù)責(zé)登記管理集群信息、網(wǎng)格信息、服務(wù)器信息、客戶機信息和項目信息。權(quán)限管理主

4、要負(fù)責(zé)對用戶的操作權(quán)限進行劃分。工單模塊主要負(fù)責(zé)為公司員工提供公司業(yè)務(wù)需求解決通道，例如，申請hdfs空間擴容。運維模塊主要負(fù)責(zé)為hadoop運維人員提供便捷運維通道。用戶中心主要負(fù)責(zé)管理用戶基本信息，工單處理記錄，待審批工單及待處理工單等操作入口。整個項目采用MVC設(shè)計模式，由SpringMVC，Spring，Hibernate三大Web開發(fā)框架整合而成，其中工單模塊基于Activiti流程引擎實現(xiàn)，運維模塊通過Jenkins對接An