電力系統(tǒng)大數(shù)據(jù)屬性約簡研究.pdf

1、伴隨著工業(yè)及社會信息化程度的增強，各個領(lǐng)域的自動化程度越來越高，大規(guī)模及超大規(guī)模海量數(shù)據(jù)應(yīng)運而生，呈現(xiàn)出大數(shù)據(jù)特征。這些海量數(shù)據(jù)在提升行業(yè)發(fā)展動力的同時，也帶來了巨大的挑戰(zhàn)性問題—數(shù)據(jù)可用性。為了從海量數(shù)據(jù)中甄別無用信息、挖掘出有益于相關(guān)領(lǐng)域發(fā)展的有價值信息，就需要對其進行數(shù)據(jù)分析。數(shù)據(jù)預(yù)處理技術(shù)可以極大地減少分析數(shù)據(jù)時的數(shù)據(jù)處理量，提高數(shù)據(jù)分析處理的效率，而屬性約簡在數(shù)據(jù)預(yù)處理中是一個比較重要的環(huán)節(jié)。又因為電力系統(tǒng)的運行與監(jiān)測環(huán)節(jié)所產(chǎn)

2、生的數(shù)據(jù)類型多、數(shù)量大，呈現(xiàn)出大數(shù)據(jù)的特征，故需要對這類數(shù)據(jù)進行有效地屬性約簡才能適當(dāng)使用?，F(xiàn)有的基于現(xiàn)代啟發(fā)式優(yōu)化技術(shù)如遺傳算法的約簡方法存在覆蓋面較窄、算法復(fù)雜度高等缺點，無法有效應(yīng)用于電力大數(shù)據(jù)處理領(lǐng)域。
　　本文分析非并行化屬性約簡算法、并行化屬性約簡算法的國內(nèi)外研究現(xiàn)狀，首先對現(xiàn)有的并行化屬性約簡算法進行了性能分析，其存在算法復(fù)雜度偏高，約簡信息易丟失等問題，而傳統(tǒng)的非并行化屬性約簡算法又同時存在內(nèi)存瓶頸難題，無法約簡海

3、量數(shù)據(jù)。然后結(jié)合電力系統(tǒng)大數(shù)據(jù)的特征，著眼于并發(fā)事件間的獨立性，綜合利用MapReduce的可并行化優(yōu)點及偏序算法的可并行性，給出了電力大數(shù)據(jù)偏序約簡的形式化描述。最后給出了電力系統(tǒng)屬性偏序約簡的算法設(shè)計，并根據(jù)電力數(shù)據(jù)集中決策屬性不同取值個數(shù)多少的實際情況分別給出了兩種約簡方案，方案1，如果決策屬性的取值種類較多，則可以選擇算法1和算法2；方案2，如果決策屬性的取值種類較少，則可以選擇算法1和算法3；但是，為了提高數(shù)據(jù)預(yù)處理的效率，在