BP神經(jīng)網(wǎng)絡(luò)中一種逃離局部極小點的方法研究.pdf

1、BP(Back-Propagation)算法是現(xiàn)在用得最多的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，由于它是基于最速下降方法，它有收斂速度慢、容易陷入局部極小點等缺點，這限制了它的應(yīng)用范圍。 本文從標(biāo)準(zhǔn)BP算法容易陷入局部極小點這個問題著手，分析其容易陷入局部極小點的原因，即網(wǎng)絡(luò)神經(jīng)元的轉(zhuǎn)換函數(shù)Sigmoid函數(shù)存在一個飽和區(qū)域，在此區(qū)域中網(wǎng)絡(luò)節(jié)點的輸入變化大但是其輸出變化極小，甚至變化可以忽略不計，由此產(chǎn)生了網(wǎng)絡(luò)的輸出對輸入的敏感性極小，網(wǎng)絡(luò)的

2、輸出和輸入不協(xié)調(diào)，網(wǎng)絡(luò)陷入局部極小點。所以本文提出了一種改進價值函數(shù)，使價值函數(shù)不僅與輸出層的輸出有關(guān)還與隱藏層的輸出有關(guān)，從而加大網(wǎng)絡(luò)對輸入的敏感性，使網(wǎng)絡(luò)的輸出和輸入之間盡可能協(xié)調(diào)，使其能快速逃離局部極小點，收斂到全局最小點。然后根據(jù)價值函數(shù)的性能曲面，對改進的BP算法的各參數(shù)(因子)在幾種特殊情況下進行了討論，并給出了迭代過程中最優(yōu)參數(shù)的計算方法。 在文章的最后對擴展的異或問題進行了仿真實驗，用改進BP算法和標(biāo)準(zhǔn)帶動量因子