基于相對熵函數(shù)準(zhǔn)則的BP算法收斂性分析.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)是目前神經(jīng)網(wǎng)絡(luò)理論中發(fā)展最完善、應(yīng)用最為廣泛的網(wǎng)絡(luò)，其結(jié)構(gòu)簡單、可操作性強(qiáng)，能模擬任意的非線性輸入輸出關(guān)系。在實(shí)際應(yīng)用中，大部分前饋網(wǎng)絡(luò)采用誤差反向傳播算法(BP算法)，它的特點(diǎn)是解決了隱層引入以后的學(xué)習(xí)問題。誤差反傳算法實(shí)質(zhì)上是非線性優(yōu)化問題的梯度算法，故與生俱來就存在諸多缺陷，這些缺陷直接影響網(wǎng)絡(luò)的性能。目前的研究重點(diǎn)主要集中在網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)權(quán)值學(xué)習(xí)算法、誤差函數(shù)、以及相關(guān)的收斂性和穩(wěn)定性等方面。 為了提高網(wǎng)絡(luò)收

2、斂速度，許多學(xué)者對誤差函數(shù)的構(gòu)造與應(yīng)用進(jìn)行了深入研究。N.B.Karayiannis提出了熵誤差函數(shù)，以解決傳統(tǒng)誤差函數(shù)訓(xùn)練過程中存在的假飽和狀態(tài)；S-H．Oh對熵誤差函數(shù)進(jìn)行修正，避免了N．B．Karayiannis提出的熵誤差函數(shù)給出的誤差信號過于強(qiáng)烈，常導(dǎo)致過學(xué)習(xí)的現(xiàn)象；MinghuJiang等再次肯定了熵誤差函數(shù)在提高前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法收斂速度方面的作用，并對其進(jìn)行了修正，然而形式過于復(fù)雜，不利于推廣使用。 本文主要對