兩種前饋型神經(jīng)網(wǎng)絡(luò)中梯度學(xué)習(xí)算法的收斂性.pdf

1、本文采用在線梯度法對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，也就是每輸入一個(gè)樣本就對(duì)權(quán)值進(jìn)行一次調(diào)整。在訓(xùn)練中加入隨機(jī)輸入是為了使網(wǎng)絡(luò)更容易跳出局部極小。而加入懲罰項(xiàng)則可提高整個(gè)網(wǎng)絡(luò)的泛化能力，也就是提高測(cè)試樣本的實(shí)驗(yàn)正確率。帶懲罰項(xiàng)的兩層BP神經(jīng)網(wǎng)絡(luò)以及帶隨機(jī)輸入的三層BP神經(jīng)網(wǎng)絡(luò)中在線梯度法的收斂性已經(jīng)分別在文[1]和[2]中做了詳細(xì)介紹。本文推廣這些結(jié)果，給出了三層BP神經(jīng)網(wǎng)絡(luò)中帶懲罰項(xiàng)和隨機(jī)輸入的在線梯度法的一些收斂性結(jié)果，其中包括：每一輪輸入之后誤差函

2、數(shù)的單調(diào)性定理，算法的弱收斂性和強(qiáng)收斂性定理。 高階神經(jīng)網(wǎng)絡(luò)(Higher-orderNeuralNetwork，HONN)的提出是為了提高前饋型神經(jīng)網(wǎng)絡(luò)的非線性分類能力。作為一種HONN，Pi-Sigma神經(jīng)網(wǎng)絡(luò)(Pi-SigmaNeuralNetwork，PSNN)保持了多層高階網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，又避免了隨著輸入樣本維數(shù)的增加權(quán)值的組合性增長(zhǎng)[3，4]。它在解決分類和函數(shù)逼近問(wèn)題上也有比較好的效果[3,5]。目前，此種網(wǎng)絡(luò)