電力系統(tǒng)大數(shù)據(jù)屬性約簡(jiǎn)研究.pdf

1、伴隨著工業(yè)及社會(huì)信息化程度的增強(qiáng)，各個(gè)領(lǐng)域的自動(dòng)化程度越來(lái)越高，大規(guī)模及超大規(guī)模海量數(shù)據(jù)應(yīng)運(yùn)而生，呈現(xiàn)出大數(shù)據(jù)特征。這些海量數(shù)據(jù)在提升行業(yè)發(fā)展動(dòng)力的同時(shí)，也帶來(lái)了巨大的挑戰(zhàn)性問(wèn)題—數(shù)據(jù)可用性。為了從海量數(shù)據(jù)中甄別無(wú)用信息、挖掘出有益于相關(guān)領(lǐng)域發(fā)展的有價(jià)值信息，就需要對(duì)其進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)預(yù)處理技術(shù)可以極大地減少分析數(shù)據(jù)時(shí)的數(shù)據(jù)處理量，提高數(shù)據(jù)分析處理的效率，而屬性約簡(jiǎn)在數(shù)據(jù)預(yù)處理中是一個(gè)比較重要的環(huán)節(jié)。又因?yàn)殡娏ο到y(tǒng)的運(yùn)行與監(jiān)測(cè)環(huán)節(jié)所產(chǎn)

2、生的數(shù)據(jù)類型多、數(shù)量大，呈現(xiàn)出大數(shù)據(jù)的特征，故需要對(duì)這類數(shù)據(jù)進(jìn)行有效地屬性約簡(jiǎn)才能適當(dāng)使用?，F(xiàn)有的基于現(xiàn)代啟發(fā)式優(yōu)化技術(shù)如遺傳算法的約簡(jiǎn)方法存在覆蓋面較窄、算法復(fù)雜度高等缺點(diǎn)，無(wú)法有效應(yīng)用于電力大數(shù)據(jù)處理領(lǐng)域。
　　本文分析非并行化屬性約簡(jiǎn)算法、并行化屬性約簡(jiǎn)算法的國(guó)內(nèi)外研究現(xiàn)狀，首先對(duì)現(xiàn)有的并行化屬性約簡(jiǎn)算法進(jìn)行了性能分析，其存在算法復(fù)雜度偏高，約簡(jiǎn)信息易丟失等問(wèn)題，而傳統(tǒng)的非并行化屬性約簡(jiǎn)算法又同時(shí)存在內(nèi)存瓶頸難題，無(wú)法約簡(jiǎn)海

3、量數(shù)據(jù)。然后結(jié)合電力系統(tǒng)大數(shù)據(jù)的特征，著眼于并發(fā)事件間的獨(dú)立性，綜合利用MapReduce的可并行化優(yōu)點(diǎn)及偏序算法的可并行性，給出了電力大數(shù)據(jù)偏序約簡(jiǎn)的形式化描述。最后給出了電力系統(tǒng)屬性偏序約簡(jiǎn)的算法設(shè)計(jì)，并根據(jù)電力數(shù)據(jù)集中決策屬性不同取值個(gè)數(shù)多少的實(shí)際情況分別給出了兩種約簡(jiǎn)方案，方案1，如果決策屬性的取值種類較多，則可以選擇算法1和算法2；方案2，如果決策屬性的取值種類較少，則可以選擇算法1和算法3；但是，為了提高數(shù)據(jù)預(yù)處理的效率，在