基于云計(jì)算的負(fù)荷建模精確數(shù)據(jù)獲取.pdf

1、隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，電網(wǎng)規(guī)模和用電量不斷增加，同時(shí)對(duì)用電的安全性和可靠性的要求也越來(lái)越高。為了提高電力系統(tǒng)的運(yùn)行可靠性，負(fù)荷模型的準(zhǔn)確性的重要性明顯提高。精確負(fù)荷數(shù)據(jù)的獲取對(duì)負(fù)荷建模至關(guān)重要，暫態(tài)數(shù)據(jù)的記錄頻率不斷提高，測(cè)量裝置數(shù)量、監(jiān)測(cè)范圍不斷擴(kuò)大，由此產(chǎn)生了大量待處理的監(jiān)測(cè)數(shù)據(jù)。目前電力系統(tǒng)的各種監(jiān)測(cè)數(shù)據(jù)分析計(jì)算主要基于調(diào)控中心的集中式計(jì)算平臺(tái)實(shí)現(xiàn)，計(jì)算能力、數(shù)據(jù)存儲(chǔ)能力有限。面對(duì)海量的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)管理復(fù)雜、擴(kuò)展

2、成本高昂。如何對(duì)海量的負(fù)荷特性監(jiān)測(cè)數(shù)據(jù)進(jìn)行可靠快速的處理已經(jīng)成為負(fù)荷建模中的重要問(wèn)題。
　　本文通過(guò)對(duì)Hadoop云計(jì)算平臺(tái)的研究，以MapReduce計(jì)算框架和HDFS存儲(chǔ)結(jié)構(gòu)為基礎(chǔ)，Hive數(shù)據(jù)倉(cāng)庫(kù)為核心，結(jié)合HBase數(shù)據(jù)庫(kù)的快速查詢技術(shù)和信息融合技術(shù)，開展基于Hadoop的海量負(fù)荷數(shù)據(jù)云計(jì)算平臺(tái)研究工作。在數(shù)據(jù)存儲(chǔ)方面，通過(guò)對(duì)不同監(jiān)測(cè)裝置數(shù)據(jù)記錄格式的解析，構(gòu)建了能夠處理不同來(lái)源的基于Hive的數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)。同時(shí)針對(duì)半結(jié)

3、構(gòu)化數(shù)據(jù)，結(jié)合HBase處理非結(jié)構(gòu)化數(shù)據(jù)的特性，構(gòu)建了存儲(chǔ)COMTRADE中的半結(jié)構(gòu)化數(shù)據(jù)的HBase表。對(duì)不同特點(diǎn)的數(shù)據(jù)庫(kù)的使用，提高了平臺(tái)的整合能力并增強(qiáng)了處理數(shù)據(jù)的性能。在數(shù)據(jù)優(yōu)化查詢方面，Hive的查詢要轉(zhuǎn)化為MapReduce任務(wù)，耗費(fèi)的時(shí)間較長(zhǎng)，實(shí)現(xiàn)了Hive表到HBase的映射，能夠同時(shí)利用Hive和HBase各自的特點(diǎn)分別存儲(chǔ)靜態(tài)采樣數(shù)據(jù)和負(fù)荷特征數(shù)據(jù)，減少了數(shù)據(jù)處理時(shí)延，提高了數(shù)據(jù)處理的效率。在數(shù)據(jù)計(jì)算與數(shù)據(jù)處理方面，

4、通過(guò)在數(shù)據(jù)記錄的電氣量提取過(guò)程，采用了并行遞推的算法，減少了計(jì)算量加快了計(jì)算的速度;通過(guò)Sqoop工具將數(shù)據(jù)ETL任務(wù)轉(zhuǎn)化為MapReduce任務(wù)，簡(jiǎn)化了編程壓力和操作步驟;同時(shí)結(jié)合數(shù)據(jù)平滑算法，抑制數(shù)據(jù)噪聲，提高了數(shù)據(jù)的精度。
　　在實(shí)驗(yàn)部分，對(duì)比了Hadoop的分布式數(shù)據(jù)庫(kù)Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的導(dǎo)入與查詢大量數(shù)據(jù)的速度，分析了Hive和HBase數(shù)據(jù)庫(kù)導(dǎo)入與查詢數(shù)據(jù)的性能。利用Sqoop轉(zhuǎn)化數(shù)據(jù)處理為MapReduce任