智能電網(wǎng)大數(shù)據(jù)實(shí)時(shí)流處理方法研究.pdf

1、近年來，隨著傳感器測(cè)量技術(shù)、通信技術(shù)和計(jì)算機(jī)技術(shù)等在智能電網(wǎng)中的廣泛使用，相量測(cè)量單元、電能采集、數(shù)據(jù)采集與監(jiān)控等系統(tǒng)產(chǎn)生了以指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)，漸漸呈現(xiàn)出數(shù)據(jù)量巨大、種類多等大數(shù)據(jù)的特點(diǎn)，如何快速地處理這些數(shù)據(jù)，是智能電網(wǎng)所面臨的重大挑戰(zhàn)。大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用主要集中在海量數(shù)據(jù)的采集存儲(chǔ)、分析挖掘與可視化等研究領(lǐng)域。目前，大數(shù)據(jù)處理技術(shù)可以分為批處理與流處理兩種模式。批處理系統(tǒng)具有先存儲(chǔ)后計(jì)算、數(shù)據(jù)的準(zhǔn)確性和全面性要求高等特點(diǎn)。

2、流處理系統(tǒng)往往不要求結(jié)果絕對(duì)精確，而注重對(duì)動(dòng)態(tài)產(chǎn)生的數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算并及時(shí)反饋結(jié)果。數(shù)據(jù)流處理的特殊性以及大數(shù)據(jù)處理的時(shí)效性等各種限制使得傳統(tǒng)的實(shí)時(shí)處理技術(shù)已不能夠滿足需求，因此，大數(shù)據(jù)的流式處理成為了研究學(xué)者和工業(yè)界的關(guān)注熱點(diǎn)。
　　本文首先分析智能電網(wǎng)大數(shù)據(jù)的來源，針對(duì)電力大數(shù)據(jù)的數(shù)據(jù)量大、種類繁多與速度快等特點(diǎn)，指出狀態(tài)監(jiān)測(cè)與電能計(jì)量等數(shù)據(jù)逐漸構(gòu)成了大規(guī)模數(shù)據(jù)流。數(shù)據(jù)流具有實(shí)時(shí)性、易失性、無序性、無限性等特征，數(shù)據(jù)流的價(jià)值會(huì)

3、隨時(shí)間的流逝而減少。結(jié)合大數(shù)據(jù)處理技術(shù)，給出一種智能電網(wǎng)大數(shù)據(jù)實(shí)時(shí)流處理框架，采用流式計(jì)算系統(tǒng)處理海量數(shù)據(jù)，通過采集系統(tǒng)節(jié)點(diǎn)監(jiān)聽數(shù)據(jù)源變化并實(shí)時(shí)收集數(shù)據(jù)，利用消息訂閱模式對(duì)數(shù)據(jù)進(jìn)行緩沖與計(jì)算，滿足狀態(tài)監(jiān)測(cè)異常檢測(cè)與異常用電分析等業(yè)務(wù)應(yīng)用對(duì)數(shù)據(jù)流快速分析需要。
　　流式數(shù)據(jù)的實(shí)時(shí)處理是一個(gè)連續(xù)計(jì)算的處理過程，本質(zhì)上是一種連續(xù)微批處理技術(shù)，將批計(jì)算的處理窗口設(shè)置為小時(shí)級(jí)、分鐘級(jí)或秒級(jí)。以狀態(tài)監(jiān)測(cè)數(shù)據(jù)流的異常檢測(cè)為例，在Storm流式計(jì)