智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應用研究.pdf

1、隨著智能電網(wǎng)建設(shè)的不斷發(fā)展和深入推進，積累的電網(wǎng)數(shù)據(jù)呈指數(shù)級增長。如何從這些歷史數(shù)據(jù)中挖掘出“寶藏”，已經(jīng)成為堅強智能電網(wǎng)建設(shè)過程中的迫切需求，而大數(shù)據(jù)存儲和處理技術(shù)的崛起為其數(shù)據(jù)的挖掘帶來了新的機遇。在使用大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的過程中，Hadoop平臺優(yōu)良的集群特性、MapReduce強大的計算能力以及HDFS的存儲能力都發(fā)揮了極大的優(yōu)勢。
　　本文將Hadoop平臺與關(guān)聯(lián)規(guī)則挖掘技術(shù)相結(jié)合，根據(jù)電網(wǎng)數(shù)據(jù)的實際需求，采用K-M

2、eans聚類算法對連續(xù)型數(shù)據(jù)離散化處理，再采用改進的FP-Growth算法挖掘關(guān)聯(lián)關(guān)系，最后設(shè)計并實現(xiàn)了基于Hadoop的關(guān)聯(lián)規(guī)則挖掘系統(tǒng)。本文主要完成了以下三方面的工作：第一，給出一種改進的基于MapReduce并行FP-Growth算法，該算法在保證并行算法劃分事務(wù)集相互獨立的基礎(chǔ)上，引入矩陣存儲事務(wù)，減少了數(shù)據(jù)庫掃描次數(shù)。與此同時，在生成頻繁模式項時，設(shè)計了IDFPTree數(shù)據(jù)結(jié)構(gòu)，減少程序運行所需內(nèi)存空間，提高了算法的效率。第二

3、，基于MapReduce框架實現(xiàn)了K-Means算法和FP-Growth算法，并將其移植到Hadoop平臺上。第三，構(gòu)建了基于MapReduce編程框架的智能電網(wǎng)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng)，采用B/S架構(gòu)，服務(wù)器建立在Hadoop平臺上，負責對用戶提交的任務(wù)進行分布式計算。
　　本文將所設(shè)計的系統(tǒng)應用到電力企業(yè)營銷數(shù)據(jù)的分析之中，挖掘出用戶的分類屬性(用戶屬性、市場屬性等)與決策屬性（分時用電量）之間的強關(guān)聯(lián)規(guī)則，從而揭示出傳統(tǒng)方法無法