基于Hadoop技術(shù)的電網(wǎng)線損分析系統(tǒng)研究與實現(xiàn).pdf

1、線路損耗，簡稱線損，是電能通過輸電線路傳輸而產(chǎn)生的能量損耗。線損率的大小集中反映電力公司電網(wǎng)的規(guī)劃、檢修、調(diào)度、營銷水平。線損是電網(wǎng)發(fā)展的重要經(jīng)濟技術(shù)指標(biāo)，降低線損能顯著提升電力公司經(jīng)濟效益。
　　傳統(tǒng)的線損分析系統(tǒng)基于關(guān)系數(shù)據(jù)庫Oracle架構(gòu)，系統(tǒng)在處理電壓電表等海量電網(wǎng)運行數(shù)據(jù)計算電網(wǎng)線損時，在數(shù)據(jù)同步、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)反饋等環(huán)節(jié)存在效率低下，無法滿足線損應(yīng)用需求的問題。迫切需要研究新型的線損系統(tǒng)處理架構(gòu)。
　

2、　本文為了解決上述線損系統(tǒng)分析的主要問題，在以下兩方面作了研究工作:
　　1、基于Hadoop技術(shù)的線損分析系統(tǒng)分析與設(shè)計:在研究Hadoop大數(shù)據(jù)技術(shù)和線損分析業(yè)務(wù)基礎(chǔ)之上，對系統(tǒng)功能進行總體和詳細(xì)設(shè)計。
　　1)、設(shè)計了基于分布式并行抽取技術(shù)Sqoop的電網(wǎng)臺帳及運行數(shù)據(jù)的數(shù)據(jù)集成方法，實現(xiàn)電網(wǎng)線損分析數(shù)據(jù)從關(guān)系數(shù)據(jù)庫到分布式數(shù)據(jù)倉庫的快速抽取與集成。
　　2)、在Hadoop組件Hive和HBase上，設(shè)計了行列

3、并存、行列自動轉(zhuǎn)換的電網(wǎng)線損數(shù)據(jù)的存儲結(jié)構(gòu)，滿足了電網(wǎng)線損分析業(yè)務(wù)的定時批量計算和即時查詢的計算需求。
　　3)、設(shè)計了基于模版技術(shù)的線損計算任務(wù)編排方法，實現(xiàn)線損計算流程和業(yè)務(wù)計算邏輯的松耦合，并在分布式數(shù)據(jù)倉庫Hive上實現(xiàn)了線損計算的并行化運行。
　　4)、設(shè)計了同步（數(shù)據(jù)即時回寫）及異步（服務(wù)調(diào)用）相結(jié)合的線損分析結(jié)果數(shù)據(jù)數(shù)據(jù)反饋方法，解決了海量結(jié)果數(shù)據(jù)及小批量結(jié)果數(shù)據(jù)的反饋問題。
　　2、線損系統(tǒng)實現(xiàn)及測試:

4、在線損分析功能總體設(shè)計及詳細(xì)設(shè)計基礎(chǔ)上，利用開源Hadoop技術(shù)，搭建了分布式計算集群，實現(xiàn)了線損分析系統(tǒng)，并對系統(tǒng)進行了測試及驗證，測試結(jié)果表明，基于Hadoop技術(shù)的電網(wǎng)線損分析系統(tǒng)，相比于基于傳統(tǒng)關(guān)系數(shù)據(jù)庫架構(gòu)的計算系統(tǒng)性能提升顯著，有6倍的性能提升。
　　通過上述研究工作，本文設(shè)計并實現(xiàn)的基于大數(shù)據(jù)技術(shù)Hadoop的線損分析系統(tǒng)有效解決了線損分析處理效率及時效性不滿足業(yè)務(wù)需求的問題，為電網(wǎng)線損精益化管理提供了信息系統(tǒng)技術(shù)支