前饋神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)的優(yōu)化策略研究.pdf

1、利用神經(jīng)網(wǎng)絡(luò)求解各種應(yīng)用問題就是利用網(wǎng)絡(luò)中神經(jīng)元的協(xié)同并行計算能力將實際問題的優(yōu)化解與神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)相對應(yīng),把對實際問題的優(yōu)化過程映射為神經(jīng)網(wǎng)絡(luò)系統(tǒng)的演化過程.但是隨著應(yīng)用問題的規(guī)模和復(fù)雜度越來越大,單一的優(yōu)化算法效果往往不夠理想,而且其性能改進程度有限.基于這種現(xiàn)狀,算法混合的思想已經(jīng)發(fā)展成為提高算法優(yōu)化性能的一個重要且有效的途徑,其出發(fā)點就是使各種單一算法相互取長補短,以產(chǎn)生更好的優(yōu)化效率.通過這種方式可以大大提高神經(jīng)網(wǎng)絡(luò)解決實

2、際問題的能力和效率.本文系統(tǒng)地研究了前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播算法、模擬退火算法和遺傳算法,分析了它們各自的特點,并對這些算法的優(yōu)化性能進行了分析和比較.給出了一種新型自適應(yīng)遞階遺傳算法(HGA)的實現(xiàn)形式,從而為解決長期以來無法同時對神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)進行優(yōu)化的問題提供了一個新思路.HGA模擬了自然界的生物結(jié)構(gòu)和進化機制,具有很強的結(jié)構(gòu)表示能力和全局尋優(yōu)能力.由于其采用了二進制編碼和浮點數(shù)編碼相結(jié)合的混合編碼方法,可以在對網(wǎng)絡(luò)權(quán)重(

3、包括節(jié)點閾值)優(yōu)化求解的同時對神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)進行優(yōu)化,具有較高的學(xué)習(xí)效率.而在遺傳過程中采用自適應(yīng)的交叉和變異概率能有效加快遺傳速度和避免早熟現(xiàn)象的出現(xiàn).數(shù)值仿真研究結(jié)果表明,HGA確實具有良好的優(yōu)化性能.此外,本文還對BP+SA和HGA+BP兩種混合優(yōu)化策略進行了系統(tǒng)研究.在BP+SA混合優(yōu)化策略中,根據(jù)BP算法的梯度尋優(yōu)和SA算法概率突跳的特點,采用以BP算法為主框架并在學(xué)習(xí)過程中引入SA策略,這樣既利用了基于梯度下降的有指導(dǎo)學(xué)

4、習(xí)來提高局部搜索性能,也利用了SA的概率突跳性來實現(xiàn)最終的全局收斂.在HGA+BP混合優(yōu)化策略中,通過在HGA算法中融入BP操作可以在對網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化的同時,充分利用GA的全局尋優(yōu)能力在大范圍內(nèi)搜索可能的極值區(qū)域,并利用BP算法沿誤差最速下降方向在極值點附近快速搜索,從而達到全局最優(yōu)和快速搜索的有機結(jié)合.HGA+BP混合優(yōu)化策略在網(wǎng)絡(luò)的逼近精度、泛化能力和網(wǎng)絡(luò)模型復(fù)雜度方面得到了滿意的折衷.通過對混沌時序信號的預(yù)測,表明了混合優(yōu)化策略