BP神經(jīng)網(wǎng)絡泛化能力改進研究.pdf

1、隨著BP神經(jīng)網(wǎng)絡研究的逐漸深入，泛化能力作為它的一個重要評價指標也引起了人們的廣泛討論。泛化能力體現(xiàn)了神經(jīng)網(wǎng)絡識別訓練集合以外的樣本集合的能力，它對神經(jīng)網(wǎng)絡能否應用在實際的生產(chǎn)中起著決定性的作用。BP神經(jīng)網(wǎng)絡的泛化能力比較敏感，容易影響到神經(jīng)網(wǎng)絡的穩(wěn)定度，反映在BP神經(jīng)網(wǎng)絡中表現(xiàn)為容易陷入到局部極值中、訓練速度較慢等，這些都制約著BP神經(jīng)網(wǎng)絡發(fā)展。人們嘗試利用模擬退火、遺傳算法等多種方法對BP神經(jīng)網(wǎng)絡的拓撲結(jié)構、學習方法等方面進行改進，

2、使得它能夠快速、準確的進行擬合和預測，并以此來增強BP神經(jīng)網(wǎng)絡自身的泛化能力。 本文研究了影響B(tài)P神經(jīng)網(wǎng)絡泛化能力的因素，包括樣本空間、初始權值、網(wǎng)絡結(jié)構參數(shù)等幾個方面，并針對BP神經(jīng)網(wǎng)絡訓練速度較慢、網(wǎng)絡結(jié)構難以確定、易陷入局部極值等問題，提出了三種獨立的改進算法：基于PCA的GA-BP神經(jīng)網(wǎng)絡改進算法、自確定結(jié)構參數(shù)的GA-BP神經(jīng)網(wǎng)絡改進算法和自確定結(jié)構參數(shù)的PCA-GA-BP神經(jīng)網(wǎng)絡改進算法。其中，基于PCA的GA-BP

3、神經(jīng)網(wǎng)絡改進算法是通過主成分分析方法對BP神經(jīng)網(wǎng)絡的樣本空間進行合理降維和去噪，并利用遺傳算法逐步迭代出優(yōu)化的初始權值，減少了網(wǎng)絡訓練時間，并有效避免了神經(jīng)網(wǎng)絡陷入到局部極值中；自確定結(jié)構參數(shù)的GA-BP神經(jīng)網(wǎng)絡改進算法是在一種自確定BP神經(jīng)網(wǎng)絡隱層及隱層單元數(shù)目方法的基礎上，結(jié)合遺傳算法提出的，該算法將傳統(tǒng)的三層BP神經(jīng)網(wǎng)絡擴展成為三層/四層BP神經(jīng)網(wǎng)絡，提高了網(wǎng)絡的預測準確率；而自確定結(jié)構參數(shù)的PCA-GA-BP神經(jīng)網(wǎng)絡改進算法在自