BP神經(jīng)網(wǎng)絡(luò)泛化能力改進(jìn)研究.pdf

1、隨著B(niǎo)P神經(jīng)網(wǎng)絡(luò)研究的逐漸深入，泛化能力作為它的一個(gè)重要評(píng)價(jià)指標(biāo)也引起了人們的廣泛討論。泛化能力體現(xiàn)了神經(jīng)網(wǎng)絡(luò)識(shí)別訓(xùn)練集合以外的樣本集合的能力，它對(duì)神經(jīng)網(wǎng)絡(luò)能否應(yīng)用在實(shí)際的生產(chǎn)中起著決定性的作用。BP神經(jīng)網(wǎng)絡(luò)的泛化能力比較敏感，容易影響到神經(jīng)網(wǎng)絡(luò)的穩(wěn)定度，反映在BP神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為容易陷入到局部極值中、訓(xùn)練速度較慢等，這些都制約著B(niǎo)P神經(jīng)網(wǎng)絡(luò)發(fā)展。人們嘗試?yán)媚M退火、遺傳算法等多種方法對(duì)BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、學(xué)習(xí)方法等方面進(jìn)行改進(jìn)，

2、使得它能夠快速、準(zhǔn)確的進(jìn)行擬合和預(yù)測(cè)，并以此來(lái)增強(qiáng)BP神經(jīng)網(wǎng)絡(luò)自身的泛化能力。 本文研究了影響B(tài)P神經(jīng)網(wǎng)絡(luò)泛化能力的因素，包括樣本空間、初始權(quán)值、網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)等幾個(gè)方面，并針對(duì)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度較慢、網(wǎng)絡(luò)結(jié)構(gòu)難以確定、易陷入局部極值等問(wèn)題，提出了三種獨(dú)立的改進(jìn)算法：基于PCA的GA-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法、自確定結(jié)構(gòu)參數(shù)的GA-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法和自確定結(jié)構(gòu)參數(shù)的PCA-GA-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法。其中，基于PCA的GA-BP

3、神經(jīng)網(wǎng)絡(luò)改進(jìn)算法是通過(guò)主成分分析方法對(duì)BP神經(jīng)網(wǎng)絡(luò)的樣本空間進(jìn)行合理降維和去噪，并利用遺傳算法逐步迭代出優(yōu)化的初始權(quán)值，減少了網(wǎng)絡(luò)訓(xùn)練時(shí)間，并有效避免了神經(jīng)網(wǎng)絡(luò)陷入到局部極值中；自確定結(jié)構(gòu)參數(shù)的GA-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法是在一種自確定BP神經(jīng)網(wǎng)絡(luò)隱層及隱層單元數(shù)目方法的基礎(chǔ)上，結(jié)合遺傳算法提出的，該算法將傳統(tǒng)的三層BP神經(jīng)網(wǎng)絡(luò)擴(kuò)展成為三層/四層BP神經(jīng)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率；而自確定結(jié)構(gòu)參數(shù)的PCA-GA-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法在自