具有溫度屬性的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究.pdf

1、“人工神經(jīng)網(wǎng)絡(luò)”（ARTIFICIALNEURALNETWORK）是一門是近年來(lái)再度興起并得到迅速發(fā)展的前沿交叉學(xué)科,它是一種在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的工程系統(tǒng).我們提出了一種新的有導(dǎo)師的多層感知器訓(xùn)練算法--具有溫度屬性的學(xué)習(xí)算法.該算法的神經(jīng)元模型引入神經(jīng)元的溫度作為個(gè)體屬性,并把這個(gè)參數(shù)看作是一種可調(diào)參數(shù).整個(gè)算法由兩個(gè)階段組成,分別是在權(quán)值空間的Backpropagation階段和在溫度參

2、數(shù)空間的梯度上升階段.當(dāng)BP階段在權(quán)值空間的學(xué)習(xí)過(guò)程中陷入到一個(gè)未滿足學(xué)習(xí)要求的極小值中時(shí),剛開始梯度上升階段,通過(guò)沿著梯度上升的方向修改溫度參數(shù)的方式,這種學(xué)習(xí)算法可以比較有效的幫助網(wǎng)絡(luò)脫離局部最小值.我們將新算法應(yīng)用到異或問(wèn)題,Parity問(wèn)題和阿拉伯?dāng)?shù)字的識(shí)別問(wèn)題等一系列訓(xùn)練任務(wù)來(lái)驗(yàn)證算法的性能.實(shí)驗(yàn)的結(jié)果表明新的算法具有脫離局部最小值的能力,因而比傳統(tǒng)的BP算法有更加可靠的全局匯聚性能.由于采用確定性搜索方式,新方法相對(duì)于模擬退