基于在線學(xué)習(xí)方法的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究.pdf

1、反向傳播神經(jīng)網(wǎng)絡(luò) (Back Propagation Neural Network，BPNN)具有良好的非線性映射能力，在決策支持系統(tǒng)中得到了廣泛的應(yīng)用。傳統(tǒng)的BPNN 在采用最速下降法訓(xùn)練時(shí)，存在訓(xùn)練速度緩慢、容易陷入局部最優(yōu)等問(wèn)題，難于在數(shù)據(jù)趨勢(shì)變化較快的互聯(lián)上用于決策支持。
　　 傳統(tǒng)的離線的BPNN 訓(xùn)練算法每次都對(duì)全體樣本進(jìn)行訓(xùn)練，這種離線的訓(xùn)練方式一方面導(dǎo)致訓(xùn)練速度遲緩，另一方面也容易使BPNN 陷入局部最優(yōu)。針對(duì)上

2、述問(wèn)題提出了一種性能良好的在線BP算法，在新樣本的成批或單獨(dú)到來(lái)時(shí)學(xué)習(xí)并更新連接權(quán)值；同時(shí)采用自適應(yīng)的可變步長(zhǎng)的學(xué)習(xí)速率，利用先前的樣本訓(xùn)練信息來(lái)更新本次樣本的學(xué)習(xí)速率，使網(wǎng)絡(luò)每次以最佳的學(xué)習(xí)速率逼近誤差曲面的全局最低點(diǎn)。
　　 另外，在對(duì)離線AdaBoost算法研究的基礎(chǔ)上，提出了在線Boosting 性能提升算法，并構(gòu)造了一種可與在線BPNN 訓(xùn)練算法結(jié)合的分類器選擇器模型，開(kāi)發(fā)了離線、在線和Boosting算法驗(yàn)證系統(tǒng)。采