兩類神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法收斂性研究.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)模型，模糊感知器和Ridge Polynomial神經(jīng)網(wǎng)絡(luò)就是這樣的兩類前饋神經(jīng)網(wǎng)絡(luò)。本文對(duì)這兩類神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行研究，分析各自算法的收斂性問題。
　　 本研究將神經(jīng)網(wǎng)絡(luò)的異步梯度算法應(yīng)用到Ridge Polynomial神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，對(duì)網(wǎng)絡(luò)誤差函數(shù)及學(xué)習(xí)方法進(jìn)行分析，給出訓(xùn)練過程中誤差函數(shù)的單調(diào)性定理。在證明單調(diào)性成立的基礎(chǔ)上，進(jìn)一步分析算法的收斂性并給出證明，最后的仿真實(shí)驗(yàn)

2、驗(yàn)證了理論分析的正確性。傳統(tǒng)的梯度算法存在收斂速度過慢且易陷入局部極小點(diǎn)的缺點(diǎn)，動(dòng)量項(xiàng)是解決該問題的有效方法之一。將動(dòng)量項(xiàng)加入到梯度算法中，用改進(jìn)后的異步梯度算法來訓(xùn)練Ridge Polynomial神經(jīng)網(wǎng)絡(luò)，有效提高了網(wǎng)絡(luò)的收斂速度。并且從理論上分析了改進(jìn)后算法的單調(diào)性和收斂性，最后，仿真對(duì)比實(shí)驗(yàn)結(jié)果也說明帶動(dòng)量項(xiàng)異步梯度算法是高效的。提出了一種訓(xùn)練最大-乘積型的模糊感知器的學(xué)習(xí)算法，給出了訓(xùn)練樣本模糊可分的充要條件，并在訓(xùn)練樣本模糊