極限學(xué)習(xí)機(jī)算法及其在高爐冶煉過程建模中的應(yīng)用研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，基于數(shù)據(jù)的機(jī)器學(xué)習(xí)算法在工業(yè)過程建模中扮演著日益重要的角色，特別是對(duì)于那些結(jié)構(gòu)復(fù)雜、機(jī)理不明的非線性時(shí)變系統(tǒng)。極限學(xué)習(xí)機(jī)（ExtremeLeaningMachine，ELM）是最近幾年才出現(xiàn)的一種薪的機(jī)器學(xué)習(xí)算法。與傳統(tǒng)的核學(xué)習(xí)算法相比，ELM不僅具有良好的泛化性能，還表現(xiàn)出訓(xùn)練速度快、算法簡(jiǎn)單易實(shí)現(xiàn)以及人為干預(yù)參數(shù)少等優(yōu)勢(shì)，在復(fù)雜系統(tǒng)建模、大規(guī)模樣本學(xué)習(xí)以及實(shí)時(shí)在線預(yù)測(cè)等問題中表現(xiàn)出巨大潛力。目前，ELM理論和

2、應(yīng)用方面的研究正吸引著國(guó)內(nèi)外越來越多的關(guān)注。
　　本文圍繞ELM算法的若干理論問題及其在高爐冶煉過程建模中的應(yīng)用展開研究，得到的主要研究成果總結(jié)如下:
　　(1)從兩個(gè)新的角度——VC維和在不同訓(xùn)練樣本規(guī)模下的算法性能——對(duì)ELM和支持向量機(jī)(SVM)做了比較研究。嚴(yán)格證明ELM的VC維以概率1等于其隱含層神經(jīng)元個(gè)數(shù)。這為根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論對(duì)ELM泛化性能的界進(jìn)行理論估計(jì)提供了依據(jù)。而在不同訓(xùn)練樣本規(guī)模下的比較研究表明:在較大

3、訓(xùn)練樣本集上，兩者具有相近的泛化性能;但在小樣本集上，前者的泛化性能及其穩(wěn)定性要低于后者。這些結(jié)論是對(duì)當(dāng)前現(xiàn)有研究結(jié)果的有益補(bǔ)充。
　　(2)針對(duì)ELM的模型選擇問題，完成了兩方面的工作。一是針對(duì)回歸和分類兩種情形分別給出了ELM的快速留一交叉驗(yàn)證算法，并首先從理論上證明了其正確性，然后基于數(shù)值仿真驗(yàn)證了其有效性。二是提出了一種新的基于VC泛化界的ELM模型復(fù)雜性控制方法，仿真實(shí)驗(yàn)表明，在小樣本情形下，該方法的性能明顯優(yōu)于其它4種

4、經(jīng)典統(tǒng)計(jì)模型選擇方法。
　　(3)基于Johnson-Lindenstrauss定理和仿真實(shí)驗(yàn)，首先指出了造成ELM算法訓(xùn)練和測(cè)試性能算法不穩(wěn)定以及小樣本情形下建模性能差的兩個(gè)原因:隨機(jī)投影的距離保持性能和隨機(jī)特征向量各分量的分布穩(wěn)定性;然后，通過輸入層權(quán)重正交化，適當(dāng)控制隱含層結(jié)點(diǎn)個(gè)數(shù)，并結(jié)合結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，提出一種距離保持ELM算法(DistancePreservingELM，DP-ELM)，有效地解決了原ELM算法存在的

5、以上兩個(gè)問題;最后，仿真實(shí)驗(yàn)驗(yàn)證了其有效性。
　　(4)為了增加ELM模型的透明性，研究了若干種不同類型的先驗(yàn)信息在ELM算法中的融合問題。首先，通過構(gòu)造對(duì)稱激活函數(shù)建立了對(duì)稱ELM，并證明其具有以任意精度逼近任意有限樣本的逼近能力，仿真實(shí)驗(yàn)表明，對(duì)稱ELM需要更少的隱含層神經(jīng)元個(gè)數(shù)和更短的訓(xùn)練時(shí)間，同時(shí)能夠獲得更高的泛化性能。其次，還給出了若干線性等式先驗(yàn)信息在ELM中的融合算法，具體包括:已知特定點(diǎn)函數(shù)值、特定點(diǎn)導(dǎo)數(shù)值以及各輸

6、出函數(shù)間依賴關(guān)系的先驗(yàn)信息，這些算法能有效地增加ELM模型透明性并改進(jìn)其逼近性能。
　　(5)在ELM算法框架下，對(duì)高爐冶煉過程的數(shù)學(xué)模型進(jìn)行了探討，分別建立了高爐鐵水硅含量的數(shù)值預(yù)測(cè)模型、趨勢(shì)預(yù)測(cè)模型以及燒結(jié)礦化學(xué)成分預(yù)測(cè)模型。首先，建立了高爐鐵水硅含量的ELM和DP-ELM數(shù)值預(yù)測(cè)模型，并與BP神經(jīng)網(wǎng)絡(luò)和SVM算法做比較，分析了所建立模型的優(yōu)缺點(diǎn)，并指出DP-ELM和SVM性能相近，優(yōu)于ELM和BP神經(jīng)網(wǎng)絡(luò);然后，基于ELM和

7、DP-ELM分類器輸出的后驗(yàn)概率屬性建立了高爐鐵水硅含量的趨勢(shì)預(yù)測(cè)模型，實(shí)現(xiàn)了高爐爐溫的變化趨勢(shì)預(yù)測(cè)以及相應(yīng)后驗(yàn)概率的估計(jì);最后，根據(jù)燒結(jié)過程自身的特點(diǎn)，在ELM框架下建立了融合領(lǐng)域知識(shí)的燒結(jié)礦化學(xué)成分預(yù)測(cè)模型。仿真實(shí)驗(yàn)表明，在ELM這種黑箱建模框架下融合先驗(yàn)知識(shí)對(duì)于提高模型性能具有重要的作用。
　　(6)針對(duì)ELM/DP-ELM算法對(duì)冗余變量敏感的問題，提出了基于留一誤差梯度的DP-ELM特征伸縮算法(FS-DPELM)，并據(jù)此