前饋神經(jīng)網(wǎng)絡(luò)梯度訓(xùn)練算法的幾個(gè)收斂性結(jié)果.pdf

1、近年來神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都得到了廣泛的應(yīng)用.前饋神經(jīng)網(wǎng)絡(luò)是一種構(gòu)造簡單而應(yīng)用廣泛的神經(jīng)網(wǎng)絡(luò)模型，其主要的訓(xùn)練算法是梯度法.為了提高算法的訓(xùn)練性能，人們對(duì)梯度算法作了各種改進(jìn)，例如：加入懲罰項(xiàng)來提高網(wǎng)絡(luò)的泛化能力，加入動(dòng)量項(xiàng)來加快算法的訓(xùn)練速度并幫助跳出局部極小，引入復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)和相應(yīng)的梯度算法來處理復(fù)數(shù)值信號(hào)等.如何從理論上對(duì)這些改進(jìn)算法的性質(zhì)(特別是收斂性)進(jìn)行分析，成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)重要研究課題.本文主要研究了用于訓(xùn)練前饋神經(jīng)

2、網(wǎng)絡(luò)的一些梯度算法的收斂性，并提出了一種自適應(yīng)確定帶動(dòng)量項(xiàng)BP算法中動(dòng)量因子的方法.具體地，本論文包括以下內(nèi)容： 1.在現(xiàn)有的關(guān)于訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的在線梯度算法的文獻(xiàn)中，大部分收斂性結(jié)果需要假設(shè)網(wǎng)絡(luò)權(quán)值有界.而這一假設(shè)在網(wǎng)絡(luò)實(shí)際訓(xùn)練中是難以驗(yàn)證的.即使在沒有這一假設(shè)的文獻(xiàn)中，也需要額外的更加難以驗(yàn)證的條件.一個(gè)自然的結(jié)果是：帶有懲罰項(xiàng)的前饋神經(jīng)網(wǎng)絡(luò)梯度訓(xùn)練算法可以保證網(wǎng)絡(luò)權(quán)值有界.但是這一結(jié)果在相關(guān)文獻(xiàn)中并沒有嚴(yán)格的證明.為了填

3、補(bǔ)這一理論空白，本文首先嚴(yán)格證明了帶懲罰的在線梯度算法在訓(xùn)練具有sigmoid輸出和線性輸出前饋神經(jīng)網(wǎng)絡(luò)時(shí)的權(quán)值有界性(同時(shí)利用隨機(jī)逼近理論，證明了相關(guān)算法的收斂性)，然后嚴(yán)格證明了帶懲罰項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)批處理梯度訓(xùn)練算法的權(quán)值有界性。 2.通過對(duì)訓(xùn)練復(fù)數(shù)值神經(jīng)網(wǎng)絡(luò)的批處理梯度算法的研究，本文給出了一個(gè)保證誤差函數(shù)單調(diào)下降的學(xué)習(xí)率的上界，并由此證明了訓(xùn)練算法的收斂性.這一結(jié)果為實(shí)際應(yīng)用中學(xué)習(xí)率的合理選取提供了依據(jù).通過進(jìn)一步研究訓(xùn)