基于大數(shù)據(jù)組件的鐵路供電監(jiān)控信息壓縮存取研究.pdf

1、鐵路供電系統(tǒng)是鐵路運輸?shù)闹匾b備，擔負著為電力機車和動車組、沿途車站、通信、照明、信號燈和閉塞裝置等設(shè)備供電的重任，其安全可靠供電直接關(guān)系到鐵路運輸?shù)陌踩?，故為保障其安全供電，鐵路部門裝設(shè)了鐵路供電監(jiān)控系統(tǒng)。由于鐵路牽引供電系統(tǒng)是一種典型的動態(tài)電網(wǎng)絡(luò)，其機車負荷又是大功率的沖擊性負荷，且具有波動幅度大、變化快等特點，加之高速動車組的運行速度快、開行密度大，加劇了鐵路電網(wǎng)電壓、電流等運行參數(shù)的變化，被控端將采集到大批量現(xiàn)場實時數(shù)據(jù)信息上傳

2、至調(diào)度中心，調(diào)度監(jiān)控系統(tǒng)需要對這些信息進行不斷地存取處理，長期運行將產(chǎn)生海量信息。而目前監(jiān)控系統(tǒng)的數(shù)據(jù)存儲平臺大多基于關(guān)系數(shù)據(jù)庫，存取容量一般限制在TB級，面對快速增長、動態(tài)、海量的監(jiān)測數(shù)據(jù)，其裝載和查詢性能較差，如果直接對這些海量數(shù)據(jù)進行存取操作，系統(tǒng)的響應(yīng)速度慢、甚至死機，容易使信息延遲，不僅影響系統(tǒng)實時性，嚴重時甚至造成關(guān)鍵信息的遲報或漏報，導致報警延遲或消失，直接威脅供電安全，已無法滿足持續(xù)增長的海量數(shù)據(jù)存儲與處理需求。因此，如

3、何快速存儲和處理海量監(jiān)控數(shù)據(jù)，是一個需要迫切解決的關(guān)鍵問題。
　　本文針對鐵路供電監(jiān)控系統(tǒng)中海量監(jiān)控信息的存儲與查詢困難的問題，融合Hadoop、Hive和Impala的云計算大數(shù)據(jù)組件，構(gòu)建鐵路供電調(diào)度監(jiān)控云計算集群，以北京動車段10kV電力遠動監(jiān)控系統(tǒng)為算例，進行了調(diào)度監(jiān)控數(shù)據(jù)的分布式Map壓縮存儲研究、HQL連接查詢優(yōu)化研究和Impala快速查詢研究，實現(xiàn)海量監(jiān)控數(shù)據(jù)的高效壓縮存儲與快速查詢。研究結(jié)果表明：1）監(jiān)控數(shù)據(jù)采用分

4、布式Map壓縮后，既可明顯加快壓縮導入速度，又可大幅減小數(shù)據(jù)體量，同時對查詢幾乎無影響，其中Map_Gzip、Map_Deflate、Map_Snappy、Map_LZO格式反而加快了查詢速度，為解決海量監(jiān)控數(shù)據(jù)的存取問題提供了新的解決思路；2）HQL連接查詢的混洗階段采用分布式Map壓縮后查詢耗時明顯減少，其中，分布式Map的Map_LZO及Map_Snappy格式效果最好，在記錄大于2.0×107條時相比混洗階段未壓縮而直接查詢的時