基于列式存儲的鐵道供電監(jiān)控信息快速查詢與壓縮處理研究.pdf

1、隨著近年來我國電氣化鐵路尤其是高速鐵路的快速發(fā)展，鐵道供電系統(tǒng)的自動化、智能化水平大幅提高，保障鐵道供電系統(tǒng)穩(wěn)定運行的調(diào)度監(jiān)控系統(tǒng)也在進行綜合自動化升級改造，使得供電監(jiān)控系統(tǒng)容量及規(guī)模不斷擴大，并需要大大增加供電監(jiān)控系統(tǒng)采集終端的數(shù)量。而且高速動車組的發(fā)車頻率增加、運行速度更快，對高速列車牽引動力設備的監(jiān)控要求更加嚴格，同時供電監(jiān)控系統(tǒng)的采樣頻率進一步提高，使得監(jiān)控信息量爆炸式增長。僅以當前主流故障錄波器為例，故障錄波瞬時數(shù)據(jù)采集量為2

2、.008MB/s，若取2MB/s進行計算，每周將采集1181.25G數(shù)據(jù)，每年將達到約60.15TB的數(shù)據(jù)量。更何況鐵道供電調(diào)度監(jiān)控系統(tǒng)有大量的信息采集設備，且服役期很長。
　　面對不斷增長的大數(shù)據(jù)集監(jiān)控信息，現(xiàn)有的監(jiān)控信息處理模式主要采用基于磁盤陣列的硬件設備，利用傳統(tǒng)的關系型數(shù)據(jù)庫進行管理，存在著存儲能力差、難以擴展、處理效率低等問題。若不能有效處理大集監(jiān)控信息，將可能引起調(diào)度監(jiān)控信息的交互困難、通信擁塞，若出現(xiàn)關鍵故障監(jiān)控信

3、息遲報、漏報或誤報，甚至會導致調(diào)度失誤而引發(fā)事故。由于傳統(tǒng)的以行式存儲為主的關系型數(shù)據(jù)管理技術處理大集信息的瓶頸，學術界對基于列式存儲的數(shù)據(jù)處理技術開展研究，并且在理論上及各個應用領域驗證了列式處理的壓縮性能和查詢效率，特別是HBase列式云集群處理模式在一些關鍵領域已得到重要應用。因此，本文針對鐵道供電調(diào)度監(jiān)控系統(tǒng)海量監(jiān)控信息的高效處理，重點研究基于HBase列式云集群的查詢、壓縮及優(yōu)化處理技術，并基于Brighthouse列存儲引擎

4、實現(xiàn)監(jiān)控信息的大比率壓縮。
　　本文在理論研究基礎上，以工程數(shù)據(jù)為算例，首先為解決監(jiān)控信息集成引起的監(jiān)控系統(tǒng)兼容性問題，通過設計模式實現(xiàn)監(jiān)控系統(tǒng)的一體化。然后成功構建基于HBase云集群的供電調(diào)度監(jiān)控信息處理平臺，并將Phoenix查詢引擎集成到HBase集群實現(xiàn)并行查詢，考慮索引的優(yōu)化性能，實現(xiàn)基于協(xié)處理器的二級索引，經(jīng)分析、對比實驗確定監(jiān)控信息的索引優(yōu)化方式并實現(xiàn)監(jiān)控信息的快速查詢。將無損壓縮融入HBase云集群，進行監(jiān)控信息