多層感知器神經(jīng)網(wǎng)絡(luò)的局部泛化誤差模型.pdf

1、多層感知器神經(jīng)網(wǎng)絡(luò)在模式識別、函數(shù)逼近、風(fēng)險預(yù)測和控制等領(lǐng)域中有廣泛的應(yīng)用，泛化能力是評價多層感知器神經(jīng)網(wǎng)絡(luò)訓(xùn)練成功的重要標(biāo)準。多層感知器神經(jīng)網(wǎng)絡(luò)從訓(xùn)練樣本提取“知識”，實現(xiàn)從輸入空間到輸出空間的映射，最后用訓(xùn)練過的多層感知器神經(jīng)網(wǎng)絡(luò)分類器對新到來的未知樣本進行有效的分類。
　　現(xiàn)有的評價多層感知器神經(jīng)網(wǎng)絡(luò)泛化能力的方法主要有兩類：解析模型和交叉驗證方法。解析模型提供了一種數(shù)學(xué)的方法來評價多層感知器神經(jīng)網(wǎng)絡(luò)的泛化能力，而交叉驗證方

2、法是一種實驗性方法來評價多層感知器神經(jīng)網(wǎng)絡(luò)泛化能力。這些方法有以下缺點：不能區(qū)分有相同隱藏層神經(jīng)元數(shù)而權(quán)值不同的網(wǎng)絡(luò)的泛化能力、忽略了未知樣本和訓(xùn)練樣本之間存在多大差異、對大的數(shù)據(jù)集時間復(fù)雜度比較高。在實際應(yīng)用中，對于一個特定的分類問題，期望訓(xùn)練的多層感知神經(jīng)網(wǎng)絡(luò)分類器能夠正確識別與訓(xùn)練樣本相差很大的未知樣本是不合理的。這是本文研究多層感知器神經(jīng)網(wǎng)絡(luò)局部泛化誤差模型的動機所在。
　　局部泛化誤差模型利用與訓(xùn)練樣本“相似”的未知樣本

3、來確定訓(xùn)練網(wǎng)絡(luò)泛化誤差上界。未知樣本與訓(xùn)練樣本是“相似”的，如果這個未知樣本特征值與訓(xùn)練樣本的特征值的差異小于給定的實數(shù)值Q。局部泛化誤差模型包括訓(xùn)練集誤差，隨機敏感度測量和給定訓(xùn)練集常數(shù)。在局部泛化誤差模型中，訓(xùn)練誤差和隨機敏感度測量之間達到最好的折中時有最小化的局部泛化誤差。
　　在本文中，用局部泛化誤差模型對多層感知器神經(jīng)網(wǎng)絡(luò)進行結(jié)構(gòu)選擇。即對于給定的分類問題，選擇的隱藏層神經(jīng)元數(shù)的多層感知器神經(jīng)網(wǎng)絡(luò)具有最好的泛化能力。用1