反向傳播算法

1、反向傳播算法反向傳播算法神經(jīng)元j在迭代n時(shí)（即呈現(xiàn)第n個(gè)訓(xùn)練例子）輸出誤差信號(hào)定義如下：e(n)=d(n)y(n)神經(jīng)元j是輸出節(jié)點(diǎn)jjj（4.1）我們將神經(jīng)元j的誤差能量瞬間定義為（12）e(n）。相應(yīng)的，整個(gè)誤差能量的瞬間值2j即為輸出層的所以神經(jīng)元的誤差能量瞬間值的和；這些只是那些誤差信號(hào)可被直接計(jì))(n?算的“可見”神經(jīng)元。因此，的計(jì)算公式是)(n?=（4.2）)(n???cjjne)(212集合C包括網(wǎng)絡(luò)輸出層的所以神經(jīng)元。令

2、N記為包含在訓(xùn)練集中模式（例子）的總數(shù)。對(duì)所有n求的和然后關(guān)于集的大小規(guī)整化即得的均方誤差能量，表示為)(n?=（4.3）av???NnnN1)(1?誤差能量的瞬間值和誤差能量的平均值是網(wǎng)絡(luò)所有自由參數(shù)（即突觸權(quán)值和偏置)(n?av?水平）的函數(shù)。對(duì)下一個(gè)給定的訓(xùn)練集，表示的代價(jià)函數(shù)作為學(xué)習(xí)性能的一個(gè)度量。av?學(xué)習(xí)過程的目的是調(diào)整網(wǎng)絡(luò)的自由參數(shù)使得最小化。要達(dá)到這種最小化，我們使用第av?3章推導(dǎo)LMS算法所用原理相似的一個(gè)逼近。特別

3、地，我們考慮一個(gè)訓(xùn)練的簡單方法，即權(quán)值在一個(gè)模式接一個(gè)模式的基礎(chǔ)更新，知道一個(gè)回合（epoch)結(jié)束，也就是整個(gè)訓(xùn)練集的完全表示已被網(wǎng)絡(luò)處理。權(quán)值的調(diào)整根據(jù)每個(gè)呈現(xiàn)給網(wǎng)絡(luò)的模式所計(jì)算的各自的誤差進(jìn)行。因此，這些單個(gè)權(quán)值在訓(xùn)練集上的改變的算術(shù)平均，是基于使整個(gè)訓(xùn)練集的代價(jià)函數(shù)最小化的真實(shí)權(quán)值改變的一種估計(jì)。av?然后考慮圖43，它描繪神經(jīng)元j被它左邊的一層神經(jīng)元產(chǎn)生的一組函數(shù)信號(hào)所饋給。因此，在神經(jīng)元j的激活函數(shù)輸入處產(chǎn)生的誘導(dǎo)局部域是)

4、(nj?（4.4）???miijijnynwnv0)()()(接著，在式（4.5）兩邊對(duì)取微分，得到)(nj?（4.9）))(()()(nnnyjjjj??????最后，在式（4.4）兩邊對(duì)取微分，得到)(nwji（4.10）)()()(nynwnjjij????將式（4.7）至（4.10）代入式（4.6），得到（4.11）)())(()()()(nynnenwnijjjji???????應(yīng)用于的修正由delta法則定義為)(nwji)

5、(nwji?（4.12）)()()(nwnnwjiji??????其中是反向傳播算法的學(xué)習(xí)率參數(shù)。式（4.12）中負(fù)號(hào)的使用意味著在權(quán)空間中梯度下?降（即尋找一個(gè)使得值下降的權(quán)值改變的方向）。于是將（4.11)代入（4.12）中得到)(n?（4.13）)()()(nynnwijji????這里局域梯度定義為)(nj?(4.14)))(()()()()()()()()(nnennynynenennjjjjjjjjjj???????????