采用導數(shù)約束關(guān)系的前向神經(jīng)網(wǎng)絡學習優(yōu)化方法研究.pdf

1、人工神經(jīng)網(wǎng)絡以人的大腦工作模式為基礎，通過大量神經(jīng)元的相互作用來體現(xiàn)處理能力。人工神經(jīng)網(wǎng)絡最重要的特點就是學習能力。從本質(zhì)上講，人工神經(jīng)網(wǎng)絡的學習過程是一個優(yōu)化的過程，即根據(jù)具體的誤差信息來合理地選擇網(wǎng)絡的權(quán)重。 目前，人工神經(jīng)網(wǎng)絡的優(yōu)化學習算法，僅利用網(wǎng)絡的輸出數(shù)據(jù)誤差作為指導信息來進行網(wǎng)絡訓練，而沒有有效引入樣本點數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系誤差來指導網(wǎng)絡訓練，導致網(wǎng)絡泛化能力差、實用性不大。單純將輸出數(shù)據(jù)誤差最小作為標準來指導網(wǎng)絡進

2、行訓練，其本質(zhì)只是對樣本數(shù)據(jù)精確插值，而這樣的插值是非光滑的，從而對非樣本數(shù)據(jù)產(chǎn)生較大誤差。因此，在網(wǎng)絡訓練過程中，除了考慮樣本數(shù)據(jù)所提供的信息外，還應考慮樣本數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，并把這些關(guān)系轉(zhuǎn)化為約束形式引入到網(wǎng)絡學習優(yōu)化過程當中。 在網(wǎng)絡模型的輸入與輸出關(guān)系的建立中，最重要的指導信息是輸入與輸出之間的導數(shù)關(guān)系，只有正確建立了這種導數(shù)關(guān)系才能建立輸入與輸出之間正確的數(shù)值對應關(guān)系。本文以神經(jīng)網(wǎng)絡學習優(yōu)化為主線，以提高神經(jīng)網(wǎng)絡訓練速