帶懲罰項的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的收斂性.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域有著廣泛的應(yīng)用.網(wǎng)絡(luò)的泛化能力，即網(wǎng)絡(luò)正確預(yù)測訓(xùn)練集之外樣本的能力，是衡量神經(jīng)網(wǎng)絡(luò)性能的一個重要指標(biāo).研究表明。滿足訓(xùn)練樣本集上逼近精度的規(guī)模最小的網(wǎng)絡(luò)具有較好的泛化能力[1-7]. 網(wǎng)絡(luò)修剪是得到上述小網(wǎng)絡(luò)的有效途徑之一，它包括直接修剪法和懲罰項法.直接修剪法是指從一個很大的足夠解決當(dāng)前問題的網(wǎng)絡(luò)開始，在訓(xùn)練結(jié)束后通過選擇或有序的方式刪除一些不重要或敏感度較小的連接權(quán)和神經(jīng)元節(jié)點(diǎn)[3,8,9].不過，該方

2、法破壞了網(wǎng)絡(luò)結(jié)構(gòu)，往往使得網(wǎng)絡(luò)訓(xùn)練需要很長的時間.懲罰項方法是一種間接修剪網(wǎng)絡(luò)的辦法，其原理是在傳統(tǒng)的誤差函數(shù)中加入一衡量網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度的“復(fù)雜度項”.應(yīng)用到權(quán)值更新規(guī)則后，該項在訓(xùn)練過程中起到防止權(quán)值增長太大和驅(qū)使不重要權(quán)值逐漸減小到零的作用.盡管那些接近零的連接權(quán)沒有從網(wǎng)絡(luò)中被刪除，但它們對網(wǎng)絡(luò)輸出幾乎沒有影響，已相當(dāng)于從網(wǎng)絡(luò)中被刪除了.這樣一來，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)實(shí)際上已是被修剪過的小網(wǎng)絡(luò)了.可見，懲罰項法在沒有破壞網(wǎng)絡(luò)結(jié)構(gòu)的同時

3、又達(dá)到網(wǎng)絡(luò)修剪的目的，從而是提高神經(jīng)網(wǎng)絡(luò)泛化能力的一個重要方法. 已有許多文獻(xiàn)研究了多種不同形式的懲罰項[1-3，6，10-13]，但他們中的大多數(shù)是在實(shí)驗(yàn)的基礎(chǔ)上對懲罰項的性能進(jìn)行研究的，并沒有在數(shù)學(xué)上給出理論證明.本文從理論上分析了懲罰項對權(quán)值的壓制作用，從而為以上實(shí)驗(yàn)觀察結(jié)果提供了理論依據(jù).反向傳播算法(BP算法)是一種簡單又常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，它有批處理和在線兩種運(yùn)行模式.本文主要研究在批處理和在線兩種運(yùn)行模式下，帶

4、 weigh-decay和inner-product懲罰項的BP算法的收斂性以及引入懲罰項后網(wǎng)絡(luò)權(quán)值的一致有界性.本論文的結(jié)構(gòu)安排如下： 第一章回顧一些有關(guān)神經(jīng)網(wǎng)絡(luò)的背景知識。 第二章介紹幾種常見的懲罰項.包括weight-decay懲罰項、weight-elimination懲罰項和lnner-product懲罰項等. 第三章主要討論帶weigh-decay懲罰項的批處理BP算法和改進(jìn)的批處理BP算法的收斂性.

5、對于前者，我們給出懲罰項系數(shù)和學(xué)習(xí)率之間的一個確定的數(shù)學(xué)表達(dá)式.并證明在此條件下誤差函數(shù)的單調(diào)下降、訓(xùn)練算法的收斂和訓(xùn)練過程中權(quán)值的一致有界.對于改進(jìn)后的BP算法，我們不僅證明了一種變學(xué)習(xí)率的BP算法的收斂性。還考慮了帶動量項的BP算法的收斂性問題. 第四章研究帶weigh-decay懲罰項的在線BP算法的收斂性.在線學(xué)習(xí)方式下.訓(xùn)練樣本在一個訓(xùn)練回合中呈現(xiàn)給網(wǎng)絡(luò)的方式分為同定順序和隨機(jī)順序兩種.這一章我們證明在線運(yùn)行方式下，當(dāng)

6、訓(xùn)練樣本以固定順序呈現(xiàn)給神經(jīng)網(wǎng)絡(luò)時帶weigh-decay懲罰項的在線BP算法的收斂性。 第五章討論在線學(xué)習(xí)方式下，當(dāng)訓(xùn)練樣本在一個訓(xùn)練回合中以某種隨機(jī)方式呈現(xiàn)給網(wǎng)絡(luò)時，帶inner-product懲罰項的在線梯度訓(xùn)練算法的收斂性．與固定順序輸入相比，訓(xùn)練樣本隨機(jī)地呈現(xiàn)給網(wǎng)絡(luò)一般更利于得到具有較好泛化能力的網(wǎng)絡(luò)和誤差跳出局部極小，但這種隨機(jī)性的引入也為從理論上研究算法的性能帶來一定的困難．不過可喜的是，對于這種情況下算法的收斂性