Storm在電力大數(shù)據(jù)分析平臺中的研究與應(yīng)用.pdf

1、電力系統(tǒng)對生產(chǎn)、管理、運(yùn)營過程的實(shí)時(shí)監(jiān)控范圍更廣、粒度更細(xì)，積累的實(shí)時(shí)數(shù)據(jù)量呈指數(shù)級增長，如何快速、實(shí)時(shí)的處理流數(shù)據(jù)成為研究熱點(diǎn)。分布式的流處理技術(shù)使得流數(shù)據(jù)進(jìn)行及時(shí)分析成為可能。
　　Storm是Twitter公司開源的分布式、常用在實(shí)時(shí)計(jì)算技術(shù)，在實(shí)時(shí)分析、線機(jī)器學(xué)習(xí)、連續(xù)計(jì)算等領(lǐng)域。目前，Storm在網(wǎng)站信息、用戶畫像、實(shí)時(shí)推薦等領(lǐng)域已取得不錯(cuò)的效果。本文以“Storm在電力大數(shù)據(jù)分析平臺中的研究與應(yīng)用”為課題，旨在將Sto

2、rm技術(shù)與電力大數(shù)據(jù)平臺相結(jié)合，提出電力系統(tǒng)中海量實(shí)時(shí)數(shù)據(jù)的處理方案。主要研究內(nèi)容有:
　　1、研究分布式的流處理平臺及典型代表。分析Storm、S4、SparkStreaming各自的架構(gòu)特點(diǎn)，從系統(tǒng)架構(gòu)、數(shù)據(jù)模型、故障恢復(fù)等方面進(jìn)行對比;研究Storm集群及流數(shù)據(jù)處理過程涉及的相關(guān)技術(shù)，如ZooKeeper、Kafka等。
　　2、深入分析Storm集群架構(gòu)及處理模型，研究Storm數(shù)據(jù)流處理策略，包括Storm流分組策

3、略及實(shí)時(shí)數(shù)據(jù)無損處理算法;通過實(shí)例，測試Storm在不同拓?fù)洹⒉煌瑓?shù)配置情況下的性能，包括CPU使用率、系統(tǒng)吞吐量及處理延時(shí)等方面，分析Storm性能瓶頸，以支持系統(tǒng)擴(kuò)展。
　　3、將Storm與電力大數(shù)據(jù)平臺相結(jié)合，設(shè)計(jì)基于Storm的流數(shù)據(jù)處理過程。在分析電力流數(shù)據(jù)處理需求的基礎(chǔ)上，提出一種分層的、多種計(jì)算模式混搭的電力大數(shù)據(jù)平臺架構(gòu);針對電力系統(tǒng)流數(shù)據(jù)的特點(diǎn)及處理需求，提出基于Storm的實(shí)時(shí)數(shù)據(jù)處理方案，添加Kafka消