基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓練方法研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)技術(shù)(ANN)經(jīng)過幾十年的發(fā)展，其相關(guān)的理論體系也越發(fā)完善。隨著研究的不斷深入，其在模式識別、故障診斷、最優(yōu)控制、目標追蹤以及金融時序預(yù)測等領(lǐng)域取得了廣泛的研究和應(yīng)用。決定神經(jīng)網(wǎng)絡(luò)使用效果好壞的關(guān)鍵在于訓練算法，已有的訓練算法對于問題規(guī)模較小、訓練數(shù)據(jù)未受噪聲污染的情況能夠取得較為理想的訓練效果。但是在當前新形勢的應(yīng)用背景下，問題規(guī)模往往較大、訓練數(shù)據(jù)也更易受噪聲污染，傳統(tǒng)的訓練算法無論是在收斂速度還是在訓練精度上均不能滿足

2、要求。非線性濾波算法作為非線性系統(tǒng)狀態(tài)的最優(yōu)估計，已經(jīng)廣泛應(yīng)用與參數(shù)估計、系統(tǒng)辨識等領(lǐng)域，其對于噪聲的適應(yīng)能力強，具有全局優(yōu)化的能力。經(jīng)過國內(nèi)外眾多專家學者的共同努力，已經(jīng)成功將非線性濾波算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓練，取得了良好的訓練效果。本文在具體分析神經(jīng)網(wǎng)絡(luò)以及非線性濾波理論發(fā)展現(xiàn)狀的基礎(chǔ)上，提出了兩種基于最新非線性濾波研究成果的前饋神經(jīng)網(wǎng)絡(luò)訓練算法。
　　現(xiàn)有利用擴展卡爾曼濾波(EKF)對多層感知器神經(jīng)網(wǎng)絡(luò)進行訓練的過程中，存在

3、較大的一階舍入誤差從而影響神經(jīng)網(wǎng)絡(luò)的訓練效果；利用不敏卡爾曼濾波(UKF)對多層感知器訓練過程中存在參數(shù)選取復雜，容易產(chǎn)生非正定的問題。針對以上問題，本文首先提出了一種基于最新非線性濾波研究成果——容積卡爾曼濾波(CKF)的多層感知器訓練方法?？紤]到非線性濾波算法是在狀態(tài)空間模型下實施的，首先將多層感知器的連接權(quán)值以及偏置節(jié)點作為狀態(tài)向量，將網(wǎng)絡(luò)的輸出作為量測建立多層感知器的狀態(tài)空間模型；然后利用系統(tǒng)的量測信息并結(jié)合 CKF算法得到連接

4、權(quán)值向量的最優(yōu)估計，從而完成網(wǎng)絡(luò)的訓練；最后通過一個典型的非線性系統(tǒng)方程以及Mackey-Glass時序預(yù)測對所提方法進行驗證，結(jié)果表明所提訓練方法相比于已有方法不僅訓練精度有所提高，而且效率更好。
　　考慮到高斯-牛頓迭代策略能夠充分利用已有信息來提高非線性模型參數(shù)的估計精度，本著提高已知信息的的利用率、進一步提高神經(jīng)網(wǎng)絡(luò)的訓練精度為目的，提出了一種基于迭代容積卡爾曼濾波(ICKF)算法的徑向基神經(jīng)網(wǎng)絡(luò)訓練方法。首先詳細分析徑向