前饋神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)的優(yōu)化策略研究.pdf

1、利用神經(jīng)網(wǎng)絡(luò)求解各種應(yīng)用問(wèn)題就是利用網(wǎng)絡(luò)中神經(jīng)元的協(xié)同并行計(jì)算能力將實(shí)際問(wèn)題的優(yōu)化解與神經(jīng)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)相對(duì)應(yīng),把對(duì)實(shí)際問(wèn)題的優(yōu)化過(guò)程映射為神經(jīng)網(wǎng)絡(luò)系統(tǒng)的演化過(guò)程.但是隨著應(yīng)用問(wèn)題的規(guī)模和復(fù)雜度越來(lái)越大,單一的優(yōu)化算法效果往往不夠理想,而且其性能改進(jìn)程度有限.基于這種現(xiàn)狀,算法混合的思想已經(jīng)發(fā)展成為提高算法優(yōu)化性能的一個(gè)重要且有效的途徑,其出發(fā)點(diǎn)就是使各種單一算法相互取長(zhǎng)補(bǔ)短,以產(chǎn)生更好的優(yōu)化效率.通過(guò)這種方式可以大大提高神經(jīng)網(wǎng)絡(luò)解決實(shí)

2、際問(wèn)題的能力和效率.本文系統(tǒng)地研究了前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播算法、模擬退火算法和遺傳算法,分析了它們各自的特點(diǎn),并對(duì)這些算法的優(yōu)化性能進(jìn)行了分析和比較.給出了一種新型自適應(yīng)遞階遺傳算法(HGA)的實(shí)現(xiàn)形式,從而為解決長(zhǎng)期以來(lái)無(wú)法同時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行優(yōu)化的問(wèn)題提供了一個(gè)新思路.HGA模擬了自然界的生物結(jié)構(gòu)和進(jìn)化機(jī)制,具有很強(qiáng)的結(jié)構(gòu)表示能力和全局尋優(yōu)能力.由于其采用了二進(jìn)制編碼和浮點(diǎn)數(shù)編碼相結(jié)合的混合編碼方法,可以在對(duì)網(wǎng)絡(luò)權(quán)重(

3、包括節(jié)點(diǎn)閾值)優(yōu)化求解的同時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行優(yōu)化,具有較高的學(xué)習(xí)效率.而在遺傳過(guò)程中采用自適應(yīng)的交叉和變異概率能有效加快遺傳速度和避免早熟現(xiàn)象的出現(xiàn).數(shù)值仿真研究結(jié)果表明,HGA確實(shí)具有良好的優(yōu)化性能.此外,本文還對(duì)BP+SA和HGA+BP兩種混合優(yōu)化策略進(jìn)行了系統(tǒng)研究.在BP+SA混合優(yōu)化策略中,根據(jù)BP算法的梯度尋優(yōu)和SA算法概率突跳的特點(diǎn),采用以BP算法為主框架并在學(xué)習(xí)過(guò)程中引入SA策略,這樣既利用了基于梯度下降的有指導(dǎo)學(xué)

4、習(xí)來(lái)提高局部搜索性能,也利用了SA的概率突跳性來(lái)實(shí)現(xiàn)最終的全局收斂.在HGA+BP混合優(yōu)化策略中,通過(guò)在HGA算法中融入BP操作可以在對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化的同時(shí),充分利用GA的全局尋優(yōu)能力在大范圍內(nèi)搜索可能的極值區(qū)域,并利用BP算法沿誤差最速下降方向在極值點(diǎn)附近快速搜索,從而達(dá)到全局最優(yōu)和快速搜索的有機(jī)結(jié)合.HGA+BP混合優(yōu)化策略在網(wǎng)絡(luò)的逼近精度、泛化能力和網(wǎng)絡(luò)模型復(fù)雜度方面得到了滿意的折衷.通過(guò)對(duì)混沌時(shí)序信號(hào)的預(yù)測(cè),表明了混合優(yōu)化策略