幾種高階神經(jīng)網(wǎng)絡(luò)的梯度算法收斂性分析.pdf

1、在對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的過程中，梯度算法被應(yīng)用得最廣泛。本文主要針對Pi-Sigma、遞歸Pi-Sigma和砒Ridge Polynomial神經(jīng)網(wǎng)絡(luò)這幾種不同的高階神經(jīng)網(wǎng)絡(luò)，分析各自算法的收斂性、單調(diào)性等理論性問題。
　　 第一，對于Pi-Sigma神經(jīng)網(wǎng)絡(luò)模型，針對罰函數(shù)的缺點，提出了一種基于乘子法的隨機單點的在線梯度算法。在此過程中，利用最優(yōu)化方法，把約束問題轉(zhuǎn)化成為無約束問題，使用乘子罰函數(shù)法克服了可能因初始權(quán)值選取不當(dāng)而

2、導(dǎo)致的收斂速度過慢問題。并且從理論上分析證明了本算法的收斂速度--線性收斂，最后的實驗結(jié)果說明的此算法是有效性的。
　　 第二，由于傳統(tǒng)的梯度算法收斂速度很慢，所以，文中提出一種將懲罰項加到傳統(tǒng)誤差函數(shù)的梯度算法，以訓(xùn)練遞歸pi-sigma神經(jīng)網(wǎng)絡(luò)，此算法不僅提高了神經(jīng)網(wǎng)絡(luò)的泛化能力，且克服了因網(wǎng)絡(luò)初始權(quán)值選取過小而導(dǎo)致的收斂速度過慢的問題，其收斂速度也得到了很大提高。還從理論上證明了本算法的收斂性，最后，實驗結(jié)果也說明了算法是