帶二分之一正則化項的BP網(wǎng)絡(luò)算法.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)中最常見的一種學(xué)習(xí)算法為誤差反向傳播算法(Back Propagation，BP)，因此也稱BP網(wǎng)絡(luò).BP網(wǎng)絡(luò)雖然應(yīng)用廣泛，但卻有一個缺點.實際應(yīng)用中，常常沒有一個很好的準(zhǔn)則來選取網(wǎng)絡(luò)結(jié)構(gòu)中隱層節(jié)點數(shù)，而只能根據(jù)經(jīng)驗來大致給出.我們知道，隱藏層節(jié)點個數(shù)對確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)至關(guān)重要，使用過多的隱層節(jié)點，盡管學(xué)習(xí)訓(xùn)練樣本的精度會相對提高，但卻會導(dǎo)致過擬合的問題，網(wǎng)絡(luò)泛化能力會降低，而且學(xué)習(xí)訓(xùn)練樣本的時間也會大大增加，學(xué)習(xí)效率變低

2、;而使用過少的隱層節(jié)點，又會有不足以學(xué)習(xí)訓(xùn)練樣本的風(fēng)險，學(xué)習(xí)訓(xùn)練樣本的誤差可能會增大。因此，對一個給定訓(xùn)練樣本的具體問題，合適地確定相應(yīng)的神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)是必要的，我們要解決的就是這一問題。針對此問題，我們在之前的誤差極小化模型中添加L1/2正則化項，建立非線性的L1/2正則化模型.基于線性L1/2正則化模型的迭代半閾值算法，我們提出了求解此非線性L1/2正則化模型的閾值算法，并給出了一定條件下算法的收斂性證明.利用此閾值算法，可以求

3、得相應(yīng)網(wǎng)絡(luò)權(quán)值的稀疏解。
　　本文先介紹求解線性L1/2正則化模型的迭代半閾值算法，詳細(xì)敘述了其推導(dǎo)過程，然后給出求解非線性L1/2正則化模型的閾值算法。將此非線性l1/2正則化模型應(yīng)用于只含有一個隱藏層的三層BP網(wǎng)絡(luò)的函數(shù)逼近中.對于給定的訓(xùn)練樣本，根據(jù)提出的求解非線性L1/2正則化模型的閾值算法，求得相應(yīng)網(wǎng)絡(luò)權(quán)值的稀疏解.由網(wǎng)絡(luò)權(quán)值是否為零，確定網(wǎng)絡(luò)結(jié)構(gòu)中神經(jīng)元之間是否有連接，權(quán)值為零則意味著相應(yīng)的連接可以去掉.如果沒有任何其