帶自適應(yīng)步長神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性分析.pdf

1、人工神經(jīng)網(wǎng)絡(luò)的發(fā)展主要經(jīng)歷了興起、高潮、低谷、再次興起四個階段。如果說它的第一次興起主要是由于人們對起的新奇而普遍感到好奇的話，那么它的第二次興起則主要是由于人們在許多地方遇到了困難，而且人工神經(jīng)網(wǎng)絡(luò)能夠較好地解決這些難題，即由于它的實用價值。
　　對于應(yīng)用最為廣泛的BP神經(jīng)網(wǎng)絡(luò)來說，它也有權(quán)值太大，收斂速度慢，會陷入局部極小值等常見問題。為了解決這些問題，我們通常在誤差函數(shù)后面加入懲罰項。但在得到網(wǎng)絡(luò)權(quán)值的有界性，算法的收斂性等

2、結(jié)論的時候，往往需要比較嚴(yán)苛的條件。
　　本文把Armijo-Wolfe規(guī)則應(yīng)用到加入帶懲罰項的神經(jīng)網(wǎng)絡(luò)的算法中，并在較為寬松的條件下得到了關(guān)于有界性，收斂性等一系列結(jié)論。本文的主要結(jié)構(gòu)如下:
　　1.第一章對神經(jīng)網(wǎng)絡(luò)做一個簡單介紹，包括神經(jīng)網(wǎng)絡(luò)發(fā)展階段，神經(jīng)網(wǎng)絡(luò)的不同網(wǎng)絡(luò)模型等等。
　　2.第二章把Armijo-Wolfe規(guī)則應(yīng)用到帶一般懲罰項的神經(jīng)網(wǎng)絡(luò)中，在更為寬松的條件下，證明了權(quán)值的有界性，神經(jīng)網(wǎng)絡(luò)的強(qiáng)弱收斂等