基于Storm的鐵道供電監(jiān)控信息實時流計算處理研究.pdf

1、隨著電網(wǎng)規(guī)模和容量的不斷擴(kuò)大，現(xiàn)代工業(yè)配電網(wǎng)正逐步邁向能量與信息互動，海量信息處理和智能調(diào)度相結(jié)合的發(fā)展方向。與傳統(tǒng)電網(wǎng)不同，智能配電網(wǎng)的調(diào)度監(jiān)控需要以電網(wǎng)全景實時狀態(tài)數(shù)據(jù)獲取為基礎(chǔ)，越來越多的采集點(diǎn)和越來越高的設(shè)備狀態(tài)信息采樣率，使聚集設(shè)備信息的調(diào)度監(jiān)控系統(tǒng)必須快速處理龐大的數(shù)據(jù)量?？紤]未來網(wǎng)絡(luò)物聯(lián)設(shè)備、新能源和電動汽車接入設(shè)備等的互連互動，更將加劇電網(wǎng)監(jiān)測在大量狀態(tài)信息實時處理中的壓力，按照IEC61970標(biāo)準(zhǔn)，以運(yùn)行態(tài)實時數(shù)據(jù)采集

2、與監(jiān)視控制系統(tǒng)的公共信息模型為例，定義一個母線電壓、饋線電流等模擬遙測類對象需50多個屬性，一個隔離開關(guān)、斷路器等狀態(tài)遙信類對象需40多個屬性，由于監(jiān)測實時數(shù)據(jù)庫多采用常駐計算機(jī)內(nèi)存處理方式，將百萬級、千萬級，甚至更大量級的過量實時監(jiān)測數(shù)據(jù)全部常駐內(nèi)存，終將超出實時數(shù)據(jù)服務(wù)器的內(nèi)存容量上限，從而造成常規(guī)實時數(shù)據(jù)庫的存取性能和計算能力受限。此時，數(shù)據(jù)服務(wù)器CPU面對大量監(jiān)控信息的實時訪問和交互處理壓力，可能會因為通信信道擁塞而產(chǎn)生較大的信

3、息處理延時，影響了調(diào)度監(jiān)控的實時性，因此，亟需開展有關(guān)大量實時監(jiān)測數(shù)據(jù)快速處理技術(shù)的研究。
　　結(jié)合電力領(lǐng)域的大數(shù)據(jù)現(xiàn)狀，學(xué)術(shù)界提出引入以批處理模式和流計算模式為主的大數(shù)據(jù)處理技術(shù)用于實現(xiàn)調(diào)度監(jiān)控海量監(jiān)測數(shù)據(jù)的分布式存儲和高效并行處理。但批處理模式受限于先存儲后處理的一般運(yùn)算流程，因此并不利于大量監(jiān)測數(shù)據(jù)的次秒級實時處理，而流計算模式憑借其全內(nèi)存計算、高可伸縮性、高容錯性等優(yōu)勢，有效避免了內(nèi)存數(shù)據(jù)庫容量的限制，為調(diào)度監(jiān)控中海量化監(jiān)

4、測數(shù)據(jù)的快速低延遲處理指明了一種全新的解決思路。
　　考慮到鐵道供電配電系統(tǒng)的特殊性，其對于調(diào)度監(jiān)控信息流的處理實時性將很大程度影響到鐵道供電的可靠性以及交通運(yùn)輸?shù)男熊嚢踩Ｒ虼?，本文結(jié)合實際工程應(yīng)用中海量化實時監(jiān)控信息的處理要求，構(gòu)建基于Storm的鐵道調(diào)度監(jiān)控流計算實時處理系統(tǒng)，該集成系統(tǒng)以Storm流計算框架作為監(jiān)測數(shù)據(jù)的實時處理引擎，以分布式消息系統(tǒng)Metamorphosis作為數(shù)據(jù)源接入模塊，并搭建基于HBase的調(diào)度監(jiān)

5、控分布式存儲系統(tǒng)。以鐵路調(diào)度監(jiān)控海量監(jiān)測數(shù)據(jù)為處理對象，通過開展一系列拓?fù)鋵嵗簻y試，評測初始集成系統(tǒng)的整體計算性能。實驗結(jié)果表明：流計算實時處理系統(tǒng)能夠在獲得ms級平均處理延時的同時確保數(shù)據(jù)處理的準(zhǔn)確性；當(dāng)發(fā)生磁盤消息堆積時，系統(tǒng)仍能保持較低的平均處理延時；且系統(tǒng)具備一定的負(fù)載均衡能力，可以應(yīng)對大規(guī)模流計算拓?fù)淙蝿?wù)。
　　最后，本文還就進(jìn)一步提升流計算實時處理系統(tǒng)的整體計算性能，提出了配置運(yùn)行參數(shù)和設(shè)計并行滑動窗口的優(yōu)化方法，