電力云平臺內(nèi)存集群計算研究.pdf

1、隨著智能電網(wǎng)與能源互聯(lián)網(wǎng)的發(fā)展建設(shè)，電力系統(tǒng)規(guī)模不斷擴大，電力數(shù)據(jù)以驚人的速度、多樣化結(jié)構(gòu)迅猛增長，這些復(fù)雜的數(shù)據(jù)來源于智能電表、配電自動化、數(shù)字保護裝置等，以及在智能電網(wǎng)實施過程中產(chǎn)生的相關(guān)數(shù)據(jù)。面對如此龐大、多樣化的數(shù)據(jù)，云計算與大數(shù)據(jù)處理等技術(shù)為電力大數(shù)據(jù)分析提供了一個全新的技術(shù)手段，電力云平臺的研究越來越熱，但不能滿足電力系統(tǒng)高計算性能的需求。
　　本文以電力大數(shù)據(jù)為研究背景，分析了幾種大數(shù)據(jù)處理技術(shù)的優(yōu)缺點，其中Hado

2、op是當前研究大數(shù)據(jù)的熱點技術(shù)，在大數(shù)據(jù)批處理等方面效率較高，然而，由于使用MapReduce技術(shù)進行數(shù)據(jù)處理時存在大量的數(shù)據(jù)傳輸和讀/寫延遲，難以滿足數(shù)據(jù)高計算性能方面的需求。Spark是基于內(nèi)存的集群技術(shù)，適合計算密集型的迭代計算，計算速度快。針對電力系統(tǒng)中高計算性能的需求，將內(nèi)存集群技術(shù)引入其中，設(shè)計一種電力系統(tǒng)分布式內(nèi)存計算框架，將智能電子設(shè)備、智能電表與相量測量單元采集的數(shù)據(jù)存儲在分布式文件系統(tǒng)中，使用內(nèi)存計算框架Spark對

3、其進行分析計算，并引入分布式內(nèi)存文件系統(tǒng)以減少磁盤訪問時間。
　　本文分析了潮流計算經(jīng)典算法和智能算法的特點，從應(yīng)用的廣泛性、穩(wěn)定性和收斂性考慮，本文使用牛頓-拉夫遜法進行潮流計算。通過研究潮流計算的牛頓-拉夫遜法，提出一種基于彈性分布式數(shù)據(jù)集（RDD）和有向無環(huán)圖（DAG）優(yōu)化的潮流分析方法。該方法通過將潮流計算過程中的數(shù)據(jù)保存在RDD中，以讀取內(nèi)存的速度讀取RDD中的數(shù)據(jù)，減少數(shù)據(jù)讀/寫時間。同時，對潮流計算步驟進行DAG優(yōu)化

4、，使窄依賴步驟在相同節(jié)點進行，并使寬依賴步驟并行執(zhí)行，能有效減少潮流計算過程中數(shù)據(jù)傳輸時間和程序運行時間。
　　最后搭建了Spark On Yarn的實驗環(huán)境，以Java編程語言實現(xiàn)了基于Mapreduce的牛頓-拉夫遜法潮流計算，以Scala編程語言實現(xiàn)了Spark模式（NBRD法）和單機模式下的潮流計算。以IEEE標準測試數(shù)據(jù)為基礎(chǔ)，構(gòu)建并模擬大規(guī)模數(shù)據(jù)集，從測試算例規(guī)模、潮流計算時間加速比、Spark集群規(guī)模三個方面進行多次