Hopfield神經(jīng)網(wǎng)絡(luò)的加速算法研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)從著手研究到現(xiàn)在,已有五十多年的發(fā)展史.雖然幾經(jīng)坎坷,但隨著眾多學(xué)者的不懈努力,不但在理論上為神經(jīng)網(wǎng)絡(luò)的發(fā)展打下了堅(jiān)實(shí)的基礎(chǔ),而且在信號(hào)處理、計(jì)算機(jī)視覺、模式識(shí)別、專家系統(tǒng)與氣象預(yù)測(cè)等許多領(lǐng)域有著廣泛的應(yīng)用.用神經(jīng)網(wǎng)絡(luò)來解決組合優(yōu)化問題一直都是神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的一個(gè)熱點(diǎn)話題.研究其相關(guān)應(yīng)用及算法優(yōu)化,無(wú)論對(duì)神經(jīng)網(wǎng)絡(luò)理論的發(fā)展,還是對(duì)神經(jīng)網(wǎng)絡(luò)技術(shù)的實(shí)際應(yīng)用,都具有特別重要的意義.Hopfield神經(jīng)網(wǎng)絡(luò)是當(dāng)前研究最為廣泛的一種

2、人工神經(jīng)網(wǎng)絡(luò),并已被人們應(yīng)用聯(lián)想記憶和解決優(yōu)化問題中.但是在實(shí)際應(yīng)用中,這種經(jīng)典的神經(jīng)網(wǎng)絡(luò)存在著諸多缺陷,其中之一就是隨著所解決問題規(guī)模的增大,Hopfield網(wǎng)絡(luò)的收斂速度會(huì)大大降低.基于以上問題,該文做了如下兩方面的工作:對(duì)于前向神經(jīng)網(wǎng)絡(luò)(如BP網(wǎng)絡(luò)),目前已有很多訓(xùn)練或?qū)W習(xí)算法,其中基于梯度下降的算法是普遍采用的方法之一.而在網(wǎng)絡(luò)學(xué)習(xí)過程中,尤其在訓(xùn)練樣本很大的時(shí)候,網(wǎng)絡(luò)的收斂速度減慢.基于此,很多學(xué)者已經(jīng)提出了諸多算法來加速BP

3、網(wǎng)絡(luò)的收斂,如附加沖量法、自適應(yīng)參數(shù)法等.該文的前一部分,將通過推導(dǎo),證明在Hopfield神經(jīng)網(wǎng)絡(luò)中,網(wǎng)絡(luò)輸出的增加值相對(duì)于網(wǎng)絡(luò)能量函數(shù)的變化過程來說也是一個(gè)梯度下降的過程.該文的后半部分提出了一種基于梯度下降的算法來加速Hopfield神經(jīng)網(wǎng)絡(luò)的收斂過程.為了達(dá)到這個(gè)目的,引入了步長(zhǎng)參數(shù),它根據(jù)能量函數(shù)的梯度信息而進(jìn)行適當(dāng)?shù)恼{(diào)整.整個(gè)算法由兩個(gè)階段組成,分別是當(dāng)網(wǎng)絡(luò)中能量函數(shù)處于平緩區(qū)時(shí)的加速階段和當(dāng)跳過一個(gè)能量極小值后的回溯階段.