基于Twitter Storm的云平臺監(jiān)控系統(tǒng)研究與實現(xiàn).pdf

1、云計算是網格計算、并行計算以及分布式計算的延伸和發(fā)展，它能夠有效解決信息時代有關大數(shù)據(jù)處理方面的技術難題。Hadoop是當前主流的云計算平臺，通過集合成千上萬臺廉價計算機或服務器，它能夠提供每秒萬億次的運算能力以及大量存儲空間。目前，云計算技術已經步入實施階段，各大企業(yè)開始建立自己的數(shù)據(jù)中心，正式部署與運營云計算平臺。然而，動輒幾百上千臺的服務器集群，為運營管理帶來巨大挑戰(zhàn)，穩(wěn)定、可靠、高效地云計算平臺實時監(jiān)控系統(tǒng)成為云集群順利運行的基

2、石。
　　本文依托“海洋環(huán)境信息云計算與云服務體系框架應用研究”項目，構建基于TwitterStorm（Twitter即為推特）的云計算平臺監(jiān)控系統(tǒng)，使用戶能夠在Web頁面按需求訂閱監(jiān)控信息，以曲線圖、列表等形式分析集群狀態(tài)。本文還針對傳統(tǒng)實時數(shù)據(jù)處理速度緩慢和數(shù)據(jù)丟失等問題提出相應的優(yōu)化策略。根據(jù)海洋項目對數(shù)據(jù)資源、計算資源和虛擬資源等監(jiān)視需求，首先設計系統(tǒng)的整體架構情況，列出系統(tǒng)框架圖，然后從數(shù)據(jù)采集、數(shù)據(jù)處理、平臺展示等模塊

3、逐一說明系統(tǒng)的設計及實現(xiàn)。數(shù)據(jù)采集模塊是系統(tǒng)數(shù)據(jù)流的源頭，它利用Ganglia等技術按照用戶設置的訂閱信息實時采集相關數(shù)據(jù)，以XML數(shù)據(jù)格式進行傳遞;數(shù)據(jù)處理模塊是系統(tǒng)的核心部分，本文從多種模式展開計算拓撲(Topology)的設計，依照Storm提供的相關API進行實現(xiàn)，使系統(tǒng)在接收到數(shù)據(jù)后，能夠精確計算并實時返回處理結果。另外，該模塊還提供了數(shù)據(jù)的持久化功能，為用戶后續(xù)對集群歷史情況的分析提供依據(jù);平臺展示模塊是用戶與系統(tǒng)溝通的窗口