遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的收斂性.pdf

1、人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，簡寫為ANNs)是一種模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，也簡稱為“神經(jīng)網(wǎng)絡(luò)”(Neuralnetwork，NNs).按照網(wǎng)絡(luò)結(jié)構(gòu)可分為兩類：前向神經(jīng)網(wǎng)絡(luò)(FeedForwardNNs)和遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNNs)。 在前向神經(jīng)網(wǎng)絡(luò)中，前一層的輸出為下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路，前向神經(jīng)網(wǎng)絡(luò)實現(xiàn)輸入向量x

2、到輸出向量y的映射，通常稱之為靜態(tài)映射，可用于處理與時間無關(guān)的對象，如文字識別，曲線逼近等問題.而在非線性動態(tài)系統(tǒng)建模、辨識、控制、故障診斷以及時間序列預(yù)測等許多領(lǐng)域中，經(jīng)常涉及到兩個離散時間序列x(t)和y(t)之間的映射，其中y(t)不僅依賴于x(t)，而且還依賴于x(t-1)，x(t-2)，…，以及y(t-1)，y(t-2)，…，一般稱之為動態(tài)映射.處理這類問題的網(wǎng)絡(luò)本身應(yīng)是一個動態(tài)系統(tǒng)，為此需要在網(wǎng)絡(luò)中引入記憶功能.遞歸神經(jīng)網(wǎng)絡(luò)

3、通過它們自身的暫態(tài)操作能夠處理時變的輸入和輸出，它實現(xiàn)的是動態(tài)映射，比前向神經(jīng)網(wǎng)絡(luò)更適合于解決動態(tài)系統(tǒng)的問題。 類似于前向神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)時經(jīng)常使用簡單的梯度搜索算法.由于其遞歸的特性，致使對梯度的計算也是遞歸的，從而使其學(xué)習(xí)較前向網(wǎng)絡(luò)要復(fù)雜得多.遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的重要研究的課題之一便是其收斂性理論，對其開展研究不僅有助于我們理解方法的本質(zhì)與特性，而且對其眾多的具體應(yīng)用也有著重要的指導(dǎo)意義。 第一章回

4、顧了有關(guān)神經(jīng)網(wǎng)絡(luò)的一些背景知識。 第二章討論了全遞歸神經(jīng)網(wǎng)絡(luò)梯度下降學(xué)習(xí)算法的收斂性.我們給出了誤差函數(shù)單調(diào)性及收斂性定理，并給出了數(shù)值試驗結(jié)果。 第三章考慮有限樣本集上Elman網(wǎng)絡(luò)梯度學(xué)習(xí)算法的確定收斂性.證明了誤差函數(shù)的單調(diào)遞減性，在此基礎(chǔ)上，給出了一個弱收斂性結(jié)果和一個強(qiáng)收斂結(jié)果，即誤差函數(shù)的梯度收斂于零，權(quán)值序列收斂于固定點.數(shù)值試驗驗證了理論結(jié)果的正確性，第四章研究了在Elman神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)梯度中部分地