基于大數據平臺的鐵路通信網絡管理系統(tǒng)優(yōu)化設計與實現_第1頁
已閱讀1頁,還剩5頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、<p>  基于大數據平臺的鐵路通信網絡管理系統(tǒng)優(yōu)化設計與實現</p><p>  [摘 要]針對目前鐵路通信網絡管理各系統(tǒng)各自獨立,集中存儲數據缺乏,無法進行全面檢測、統(tǒng)計和管理的現狀,提出了鐵路通信綜合網絡平臺建設的目標,設計了建設優(yōu)化的系統(tǒng)架構,并針對某鐵路局級綜合網絡管理中心的需求,進行了方案實現,為滿足未來多系統(tǒng)共用大數據平臺的需要提供了前期基礎。 </p><p> 

2、 [關鍵詞]鐵路通信網絡 大數據平臺 數據分析 </p><p>  中圖分類號:U291-39 文獻標識碼:A 文章編號:1009-914X(2016)07-0029-01 </p><p>  隨著中國鐵路的高速發(fā)展,鐵路通信網正迅速發(fā)展成為一個集光纖傳輸、無線傳輸、自動管理等高度數字化的大型網絡[1]。然就目前而言,鐵路通信網各個系統(tǒng)相對獨立,無法進行全面監(jiān)測、統(tǒng)計和管理,更無法為各

3、個系統(tǒng)和系統(tǒng)間的建設和優(yōu)化提供數據分析[2]。特別在當前大數據背景下,迫切需要通過綜合自動管理技術,對各個系統(tǒng)信息進行綜合呈現、綜合分析,以便整合鐵路資源和業(yè)務,為故障預測、預警提供數據基礎,為管理決策提供依據,從而實現鐵路運營管理方式的現代化。 </p><p>  1.現狀鐵路通信網絡管理存在的問題 </p><p>  受建設歷史原因及設備提供商限制,目前鐵路網管中心存在二十多套系統(tǒng)

4、,除通信組外,其它系統(tǒng)基本都是相互獨立,每套系統(tǒng)只針對各自的傳輸、設備等進行管理。在我國信息化建設起步晚的大環(huán)境下,臺賬報表的生成、輔助資源的分配、環(huán)境動力的布防、撤防及故障處理等很多工作是手工進行,且不能根據故障告警自動生成派工單,技術人員整日忙于電話接打中;告警定位沒有直觀形象的可視化界面顯示,只是給出數字指導,在有限的故障處理時間內,在如駐波的告警處理、光功率的故障處理中不能迅速定位故障,存在匆忙中出錯的可能;由于有些系統(tǒng)建設較新

5、,還沒有形成豐富的專家知識庫及典型案例。大數據技術是當前前沿技術,也是未來信息化發(fā)展的方向。但目前通信網管系統(tǒng)缺乏集中存儲數據,數據存在散、亂狀態(tài),不能為將來的大數據分析提供數據積累,也不能為未來信息化的發(fā)展做數據沉淀[3-4]。 </p><p>  2.鐵路通信網管系統(tǒng)建設目標 </p><p>  通過對現有鐵路網管系統(tǒng)的整治,完善系統(tǒng)。對目前處于散、亂的數據進行集中存儲管理,為將來

6、的大數據分析積累基礎數據,并在大數據平臺上(Cloudera)進行數據挖掘、關聯(lián)分析、預測性分析和統(tǒng)計。通過對告警歷史數據的回歸、關聯(lián)性分析,預測未來系統(tǒng)可能發(fā)生的故障,并定位故障點,提出故障處理意見,在故障處理規(guī)定的時間內(如5分鐘內上報,10分鐘處理完畢)指導技術人員快速定位和處理故障。 </p><p><b>  3.系統(tǒng)架構 </b></p><p><

7、;b>  3.1 設計概要 </b></p><p>  為滿足大數據平臺下的業(yè)務需求,設計一種新的硬件架構,以滿足多系統(tǒng)共用大數據平臺的需求。為此,以某局級鐵路用戶為例,考慮需新增x86服務器,作為ROSS系統(tǒng)數據采集解析的服務集群;在Cloudera大數據平臺上,完成數據匯總及數據分析功能。數據存儲共用大數據平臺的分布式文件系統(tǒng)(HDFS),數據分析在Cloudera大數據平臺上進行。 &l

8、t;/p><p>  3.2 設備選型及業(yè)務邏輯 </p><p>  系統(tǒng)服務器采用多臺x86虛擬機服務器作為采集服務器集群,使其具備橫向擴展能力強、增減容方便、易于管理和監(jiān)控、可以快速部署上線等特點。 </p><p>  3.3 整體技術方案 </p><p>  該技術方案的核心是Cloudera大數據平臺。圖3是大數據平臺集群的架構示意

9、。針對本系統(tǒng),采集/接口服務器、各系統(tǒng)的上層應用服務器均作為Cline存在;通過TCP/IP網絡與大數據平臺通信。大數據平臺采用1個NameNode和多個DataNode的部署方式,并用Sqoop方式作為數據接收接口。 </p><p>  3.3.1 數據采集服務器 </p><p>  數據采集服務器負責歷史數據采集,采用CentOS Linux操作系統(tǒng),部署專用的采集及解析軟件,其工

10、作模式與傳統(tǒng)網管應用采集、解析、入庫的方式類似,區(qū)別在于傳統(tǒng)方式解析文件后寫入數據庫,而本系統(tǒng)完成文件解析后直接寫入Cloudera Hadoop中。 </p><p>  3.3.2 大數據平臺 </p><p> ?。?) 軟件設計方案 </p><p>  數據存儲采用HDFS保存解析后的原始數據文件;數據分析采用MapReduce作為分析工具;MapRedu

11、ce用于大規(guī)模數據集(大于1TB)的并行運算,可以極大地方便編程人員將程序運行在分布式系統(tǒng)上。軟件實現可以指定一個Map函數,用來把一組鍵值對映射成一組新的鍵值對,指定并發(fā)的Reduce函數用來保證所有映射的鍵值對中每一個共享相同的鍵組。 </p><p> ?。?) 硬件設計方案 </p><p>  大數據平臺存儲空間計算見表2。 </p><p>  即保存到

12、大數據平臺的單文件大小為0.3MB,如需要保留9天的數據,如表2經計算大數據平臺共需要3.2TB空間。 </p><p><b> ?。?) 部署方案 </b></p><p>  依據上述情況,大數據平臺應共用x86服務器3臺,采用1+2方式部署,其中,1臺服務器作為NameNode,用于元數據管理,采用雙機互備方式保證NameNode的高可用性;2臺服務器組成Da

13、taNode集群,用于元數據存儲,元數據存儲采用標準的1+2方式。單服務器硬件配置為8核CPU,32GB內存、2TB硬盤。 </p><p>  3.3.3 應用服務器 </p><p>  應用服務器主要功能是針對匯總后的數據提供顯示功能。應用服務器可以采用Linux服務器+Apache Tomcat方式提供服務。其與Hadoop集群通信主要有如下內容:讀取匯總數據,將Hadoop處理后

14、的匯總數據讀出,用于上層應用的數據計算;讀取詳情數據,從Hadoop中直接讀取小時級別數據。 </p><p>  3.3.4 各服務器推薦配置 </p><p>  基于上述配置,各服務器最終配置見表3。 </p><p>  3.3.5 擴展性 </p><p>  按照以上配置,當整個大數據平臺確實由于資源不足導致應用系統(tǒng)受到影響時,大

15、數據平臺可以很容易地完成硬件擴容,即只要將新的服務器加入大數據平臺集群即可,新加入服務器的數據文件重分配工作會由大數據平臺自動完成。   4.功能實現 </p><p>  以上對某局級鐵路網管中心提出的需求做了較為全面的方案實現。從實現效果看,前期先解決了目前關心的問題,即通過大數據基礎平臺的建設,實現了業(yè)務數據的全面留存,為相關設備老化更換提供數據基礎;實現了業(yè)務數據的趨勢分析,為設備超預警提供預判基礎;為

16、數據多元化分析提供了平臺。完成的主要功能有: </p><p><b>  4.1 數據管理 </b></p><p>  對現有通訊系統(tǒng)中的某些端口實時業(yè)務數據進行抓取,并對其進行統(tǒng)計分析。包括數據采集和數據分析兩個子功能模塊。 </p><p><b>  4.2 故障管理 </b></p><p&

17、gt;  4.2.1 故障登記 </p><p>  信息中心值班人員可在系統(tǒng)登記各類軟硬件故障記錄,系統(tǒng)將記錄登記人、登記時間等關聯(lián)信息。 </p><p>  4.2.2 故障分析 </p><p>  系統(tǒng)具有如下范圍內的故障統(tǒng)計分析功能: </p><p> ?。?)故障查詢。根據提供的查詢條件實時檢索故障明細,查詢故障具體情況; &

18、lt;/p><p> ?。?)故障數量統(tǒng)計。統(tǒng)計選定范圍內(時間范圍、選定站區(qū))各類故障發(fā)生的次數; </p><p> ?。?)故障發(fā)生趨勢。提供某類設施或端口故障發(fā)生的趨勢,并提前預警。 </p><p>  (4)運行監(jiān)測。光功率性能監(jiān)控系統(tǒng)監(jiān)測光纜線路中的光功率、駐波比、誤碼率等重要指標,并通過可視化技術,進行直觀、全面、便捷地查看,提供查看某設備中各項指標的歷

19、史變化曲線供業(yè)務人員分析。 </p><p><b>  5.結束語 </b></p><p>  本文針對我國鐵路通信網絡管理系統(tǒng)存在的問題,指出基于大數據平臺的鐵路通信網絡管理系統(tǒng)建設優(yōu)化設計的必要性,并提出了系統(tǒng)建設目標、架構方案。通過在某局級鐵路通信網絡管理系統(tǒng)實現,證明具有可行性和普遍參考價值。 </p><p><b> 

20、 參考文獻 </b></p><p>  [1].陸紅群.鐵路通信網向下一代發(fā)展的思考[J],鐵路通信信號,2012,9(4):33-37 </p><p>  [2].賈靖宇,付偉.鐵路通信綜合網管的提出及應用[J],鐵道通信信號,2009,45(6):45-47 </p><p>  [3].王令朝.鐵路計算機通信網絡管理的認識和對策[J],鐵道通信

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論