帶懲罰項的BP神經(jīng)網(wǎng)絡訓練算法的收斂性.pdf

1、前饋神經(jīng)網(wǎng)絡在許多領域有著廣泛的應用.網(wǎng)絡的泛化能力，即網(wǎng)絡正確預測訓練集之外樣本的能力，是衡量神經(jīng)網(wǎng)絡性能的一個重要指標.研究表明。滿足訓練樣本集上逼近精度的規(guī)模最小的網(wǎng)絡具有較好的泛化能力[1-7]. 網(wǎng)絡修剪是得到上述小網(wǎng)絡的有效途徑之一，它包括直接修剪法和懲罰項法.直接修剪法是指從一個很大的足夠解決當前問題的網(wǎng)絡開始，在訓練結(jié)束后通過選擇或有序的方式刪除一些不重要或敏感度較小的連接權(quán)和神經(jīng)元節(jié)點[3,8,9].不過，該方

2、法破壞了網(wǎng)絡結(jié)構(gòu)，往往使得網(wǎng)絡訓練需要很長的時間.懲罰項方法是一種間接修剪網(wǎng)絡的辦法，其原理是在傳統(tǒng)的誤差函數(shù)中加入一衡量網(wǎng)絡結(jié)構(gòu)復雜程度的“復雜度項”.應用到權(quán)值更新規(guī)則后，該項在訓練過程中起到防止權(quán)值增長太大和驅(qū)使不重要權(quán)值逐漸減小到零的作用.盡管那些接近零的連接權(quán)沒有從網(wǎng)絡中被刪除，但它們對網(wǎng)絡輸出幾乎沒有影響，已相當于從網(wǎng)絡中被刪除了.這樣一來，訓練后的神經(jīng)網(wǎng)絡實際上已是被修剪過的小網(wǎng)絡了.可見，懲罰項法在沒有破壞網(wǎng)絡結(jié)構(gòu)的同時

3、又達到網(wǎng)絡修剪的目的，從而是提高神經(jīng)網(wǎng)絡泛化能力的一個重要方法. 已有許多文獻研究了多種不同形式的懲罰項[1-3，6，10-13]，但他們中的大多數(shù)是在實驗的基礎上對懲罰項的性能進行研究的，并沒有在數(shù)學上給出理論證明.本文從理論上分析了懲罰項對權(quán)值的壓制作用，從而為以上實驗觀察結(jié)果提供了理論依據(jù).反向傳播算法(BP算法)是一種簡單又常用的神經(jīng)網(wǎng)絡訓練算法，它有批處理和在線兩種運行模式.本文主要研究在批處理和在線兩種運行模式下，帶

4、 weigh-decay和inner-product懲罰項的BP算法的收斂性以及引入懲罰項后網(wǎng)絡權(quán)值的一致有界性.本論文的結(jié)構(gòu)安排如下： 第一章回顧一些有關神經(jīng)網(wǎng)絡的背景知識。 第二章介紹幾種常見的懲罰項.包括weight-decay懲罰項、weight-elimination懲罰項和lnner-product懲罰項等. 第三章主要討論帶weigh-decay懲罰項的批處理BP算法和改進的批處理BP算法的收斂性.

5、對于前者，我們給出懲罰項系數(shù)和學習率之間的一個確定的數(shù)學表達式.并證明在此條件下誤差函數(shù)的單調(diào)下降、訓練算法的收斂和訓練過程中權(quán)值的一致有界.對于改進后的BP算法，我們不僅證明了一種變學習率的BP算法的收斂性。還考慮了帶動量項的BP算法的收斂性問題. 第四章研究帶weigh-decay懲罰項的在線BP算法的收斂性.在線學習方式下.訓練樣本在一個訓練回合中呈現(xiàn)給網(wǎng)絡的方式分為同定順序和隨機順序兩種.這一章我們證明在線運行方式下，當

6、訓練樣本以固定順序呈現(xiàn)給神經(jīng)網(wǎng)絡時帶weigh-decay懲罰項的在線BP算法的收斂性。 第五章討論在線學習方式下，當訓練樣本在一個訓練回合中以某種隨機方式呈現(xiàn)給網(wǎng)絡時，帶inner-product懲罰項的在線梯度訓練算法的收斂性．與固定順序輸入相比，訓練樣本隨機地呈現(xiàn)給網(wǎng)絡一般更利于得到具有較好泛化能力的網(wǎng)絡和誤差跳出局部極小，但這種隨機性的引入也為從理論上研究算法的性能帶來一定的困難．不過可喜的是，對于這種情況下算法的收斂性