多層感知器神經(jīng)網(wǎng)絡的局部泛化誤差模型.pdf

1、多層感知器神經(jīng)網(wǎng)絡在模式識別、函數(shù)逼近、風險預測和控制等領域中有廣泛的應用，泛化能力是評價多層感知器神經(jīng)網(wǎng)絡訓練成功的重要標準。多層感知器神經(jīng)網(wǎng)絡從訓練樣本提取“知識”，實現(xiàn)從輸入空間到輸出空間的映射，最后用訓練過的多層感知器神經(jīng)網(wǎng)絡分類器對新到來的未知樣本進行有效的分類。
　　現(xiàn)有的評價多層感知器神經(jīng)網(wǎng)絡泛化能力的方法主要有兩類：解析模型和交叉驗證方法。解析模型提供了一種數(shù)學的方法來評價多層感知器神經(jīng)網(wǎng)絡的泛化能力，而交叉驗證方

2、法是一種實驗性方法來評價多層感知器神經(jīng)網(wǎng)絡泛化能力。這些方法有以下缺點：不能區(qū)分有相同隱藏層神經(jīng)元數(shù)而權值不同的網(wǎng)絡的泛化能力、忽略了未知樣本和訓練樣本之間存在多大差異、對大的數(shù)據(jù)集時間復雜度比較高。在實際應用中，對于一個特定的分類問題，期望訓練的多層感知神經(jīng)網(wǎng)絡分類器能夠正確識別與訓練樣本相差很大的未知樣本是不合理的。這是本文研究多層感知器神經(jīng)網(wǎng)絡局部泛化誤差模型的動機所在。
　　局部泛化誤差模型利用與訓練樣本“相似”的未知樣本

3、來確定訓練網(wǎng)絡泛化誤差上界。未知樣本與訓練樣本是“相似”的，如果這個未知樣本特征值與訓練樣本的特征值的差異小于給定的實數(shù)值Q。局部泛化誤差模型包括訓練集誤差，隨機敏感度測量和給定訓練集常數(shù)。在局部泛化誤差模型中，訓練誤差和隨機敏感度測量之間達到最好的折中時有最小化的局部泛化誤差。
　　在本文中，用局部泛化誤差模型對多層感知器神經(jīng)網(wǎng)絡進行結構選擇。即對于給定的分類問題，選擇的隱藏層神經(jīng)元數(shù)的多層感知器神經(jīng)網(wǎng)絡具有最好的泛化能力。用1