基于相對熵函數(shù)準則的BP算法收斂性分析.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)是目前神經(jīng)網(wǎng)絡(luò)理論中發(fā)展最完善、應(yīng)用最為廣泛的網(wǎng)絡(luò)，其結(jié)構(gòu)簡單、可操作性強，能模擬任意的非線性輸入輸出關(guān)系。在實際應(yīng)用中，大部分前饋網(wǎng)絡(luò)采用誤差反向傳播算法(BP算法)，它的特點是解決了隱層引入以后的學習問題。誤差反傳算法實質(zhì)上是非線性優(yōu)化問題的梯度算法，故與生俱來就存在諸多缺陷，這些缺陷直接影響網(wǎng)絡(luò)的性能。目前的研究重點主要集中在網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)權(quán)值學習算法、誤差函數(shù)、以及相關(guān)的收斂性和穩(wěn)定性等方面。 為了提高網(wǎng)絡(luò)收

2、斂速度，許多學者對誤差函數(shù)的構(gòu)造與應(yīng)用進行了深入研究。N.B.Karayiannis提出了熵誤差函數(shù)，以解決傳統(tǒng)誤差函數(shù)訓練過程中存在的假飽和狀態(tài)；S-H．Oh對熵誤差函數(shù)進行修正，避免了N．B．Karayiannis提出的熵誤差函數(shù)給出的誤差信號過于強烈，常導致過學習的現(xiàn)象；MinghuJiang等再次肯定了熵誤差函數(shù)在提高前饋神經(jīng)網(wǎng)絡(luò)學習算法收斂速度方面的作用，并對其進行了修正，然而形式過于復雜，不利于推廣使用。 本文主要對