基于Hadoop+Spark的電能計量與分析自動化系統(tǒng)研究與實現(xiàn).pdf

1、電力能源是現(xiàn)代社會的基本組成部分，它的供應直接影響著社會和經(jīng)濟的發(fā)展。近年來，隨著電力行業(yè)的快速發(fā)展，電能在日常生活中的使用越來越普遍。電能計量自動化系統(tǒng)在用電管理中越來越重要。系統(tǒng)中各種計量終端設(shè)備產(chǎn)生大量電能數(shù)據(jù)，這些數(shù)據(jù)的實時采集、傳輸、處理和分析對電力行業(yè)來說至關(guān)重要。電能計量自動化系統(tǒng)的應用既節(jié)約人力資源，提高工作效率，解決因傳統(tǒng)人工抄表造成的抄表錯誤、少抄、漏抄、抄表時間跨度大等問題，保證數(shù)據(jù)的準確性，又能對抄寫的數(shù)據(jù)很好的

2、存儲和管理，對數(shù)據(jù)準確的分析，從而降低用電成本，實現(xiàn)用電管理自動化。
　　隨著電力部門業(yè)務功能以及電能數(shù)據(jù)量的不斷增加，人們對電能計量自動化系統(tǒng)的海量數(shù)據(jù)處理能力以及相應的架構(gòu)設(shè)計提出了很高的要求。傳統(tǒng)的電能計量自動化系統(tǒng)采用關(guān)系型數(shù)據(jù)庫存儲、查詢和檢索數(shù)據(jù)，因此效率較低。并且傳統(tǒng)的電能計算模式和算法在數(shù)據(jù)計算、統(tǒng)計和分析方面，已難以滿足各種各樣的新需求。因此，本文利用Hadoop分布式文件系統(tǒng)和Spark大數(shù)據(jù)計算框架設(shè)計電能計

3、量與分析自動化系統(tǒng)具有重要的應用價值，取得的成果如下:
　　1.研究電能計量自動化系統(tǒng)的組成，根據(jù)系統(tǒng)設(shè)計目標，設(shè)計電能計量與分析自動化系統(tǒng)，將其總體架構(gòu)分為五部分:終端設(shè)備、網(wǎng)絡(luò)通信模塊、前置采集模塊、電能計量與分析模塊和電能計量業(yè)務應用。并對電能計量與分析模塊進行詳細設(shè)計，包括電能數(shù)據(jù)解析、電能數(shù)據(jù)存儲以及電能計量與分析，介紹其中所涉及到的技術(shù)HDFS和Spark的作用。
　　2.實現(xiàn)電能計量與分析模塊中電能計量的功能，

4、研究現(xiàn)有電能計量的算法，包括電量、負載率、功率因素和三相不平衡率計量算法，并對其中的電量計量設(shè)計并行計算算法，給出算法思想，將并行算法加以實現(xiàn)，給出詳細的Spark RDD轉(zhuǎn)化圖。
　　3.利用聚類分析算法k-means對用戶用電量進行分析，研究了k-means算法的思想，并對k-means算法進行并行化，描述Spark并行實現(xiàn)k-means的過程。
　　4.對電量并行計算算法進行性能分析，研究數(shù)據(jù)量不變的情況下，集群中1個