改進的Elman神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)參數(shù)優(yōu)化算法研究.pdf

1、Elman神經(jīng)網(wǎng)絡(luò)（Elman Neural Network，ENN）是一種被廣泛使用的反饋型神經(jīng)網(wǎng)絡(luò)。因其具有較強的適應(yīng)時變特性的能力，非常適合用于時間序列數(shù)據(jù)的預(yù)測研究。根據(jù)前人經(jīng)驗得出，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的好壞對網(wǎng)絡(luò)的性能起著重要的影響。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計和隱含層節(jié)點數(shù)設(shè)計等。針對不同的問題需要設(shè)計不同的網(wǎng)絡(luò)結(jié)構(gòu)，尤其是隱含層節(jié)點數(shù)的確定，尚缺乏嚴(yán)格統(tǒng)一的理論指導(dǎo)。傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)通常采用梯度下降法作為它的學(xué)習(xí)規(guī)則

2、，造成學(xué)習(xí)過程收斂速度慢，收斂過程不穩(wěn)定，且容易陷入局部最優(yōu)解。
　　鑒于傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)存在的上述問題，本文首先對Elman神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進行了改進，提出了一種新型的帶有輸出-隱含反饋機制的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)（Elman neural network with Double Hidden layers and Output-Hidden Feedback，DHOHF-Elman）結(jié)構(gòu)。然后，本文對自適應(yīng)遺傳算法

3、（Adaptive Genetic Algorithm，AGA）進行了適當(dāng)改進，并基于改進的AGA提出了一種網(wǎng)絡(luò)參數(shù)優(yōu)化算法，分別優(yōu)化神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點數(shù)目和初始權(quán)值、閾值。最后，使用提出的這個網(wǎng)絡(luò)參數(shù)優(yōu)化算法優(yōu)化DHOHF-Elman神經(jīng)網(wǎng)絡(luò)參數(shù)，并將優(yōu)化后的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)應(yīng)用于空氣質(zhì)量時間序列預(yù)測。本文的主要工作和創(chuàng)新點可以概括為以下三個方面：
　?。?）改進了Elman神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)?；趥鹘y(tǒng)Elman神

4、經(jīng)網(wǎng)絡(luò)，總結(jié)時小虎等人提出的OIF-Elman和OHF-Elman的優(yōu)缺點，本文設(shè)計了一種特殊的輸出層反饋，提出了一種同時包含內(nèi)部反饋和外部反饋的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)——DHOHF-Elman神經(jīng)網(wǎng)絡(luò)。為了驗證提出的DHOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和時小虎等人提出的OIF-Elman神經(jīng)網(wǎng)絡(luò)進行對比實驗。實驗結(jié)果表明：本文提出的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)相比

5、其他兩種Elman神經(jīng)網(wǎng)絡(luò)具有更高的預(yù)測精度和更快的收斂速度。
　?。?）提出了一種基于遺傳算法的網(wǎng)絡(luò)參數(shù)優(yōu)化算法。該網(wǎng)絡(luò)參數(shù)優(yōu)化算法的中心思想是使用改進的自適應(yīng)遺傳算法AGA確定DHOHF-Elman網(wǎng)絡(luò)隱含層節(jié)點數(shù)和初始權(quán)值、閾值。將隱含層節(jié)點數(shù)和初始權(quán)值、閾值采用不同的編碼方式進行編碼，并采用對應(yīng)的選擇、交叉、變異操作進行遺傳進化，解碼最優(yōu)適應(yīng)度值對應(yīng)的染色體個體即可得到相應(yīng)的隱含層節(jié)點數(shù)和初始權(quán)值、閾值。為了驗證本文提出的

6、網(wǎng)絡(luò)參數(shù)優(yōu)化算法的有效性，本文分別對網(wǎng)絡(luò)隱含層節(jié)點數(shù)優(yōu)化算法和網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法設(shè)計了兩組對比實驗進行驗證。實驗結(jié)果表明：○1使用本文提出的網(wǎng)絡(luò)隱含層節(jié)點數(shù)優(yōu)化算法比使用枚舉法找到最優(yōu)或次優(yōu)隱含層節(jié)點數(shù)耗時更少；○2在訓(xùn)練網(wǎng)絡(luò)之前使用本文提出的網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法，這個過程雖然會耗費大量時間，但是使用優(yōu)化后的初始權(quán)值、閾值比隨機獲得的初始權(quán)值、閾值具有更好的效果，能夠使網(wǎng)絡(luò)訓(xùn)練過程更加平穩(wěn)，避免了陷入局部最優(yōu)解，具有更快的

7、收斂速度和更高的預(yù)測準(zhǔn)確性。
　?。?）空氣質(zhì)量時間序列預(yù)測?；诒疚奶岢龅腄HOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)優(yōu)化算法，使用空氣質(zhì)量時間序列數(shù)據(jù)進行實驗，預(yù)測下一時段臭氧濃度。為了驗證方法的有效性，在縱向上，將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同其他Elman神經(jīng)網(wǎng)絡(luò)（如：傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和OIF-Elman神經(jīng)網(wǎng)絡(luò)）進行對比實驗。在橫向上，同其他時間序列預(yù)測方法（如：灰色預(yù)測法和NARX神經(jīng)網(wǎng)絡(luò)預(yù)測法）進行對比實驗。實