2.4bp神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法

1、2.4 BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法,概述,Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(Back Propagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。,J. McClelland,David Rumelhart,2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型,三層BP

2、網(wǎng)絡(luò),,2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型,激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù) 使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出,,,2.4.1 BP神經(jīng)網(wǎng)絡(luò)模型,輸出的導(dǎo)數(shù),,根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi),2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：

3、對各連接權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想,學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播 誤差的反向傳播,將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號,修正各單元權(quán)值,,,,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程,正向傳播

4、：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止,,,,,,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層

5、輸入向量;輸出層輸出向量;期望輸出向量;,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：,,,,,,,,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值 和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第 個輸入樣本及對

6、應(yīng)期望輸出,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第三步，計算隱含層各神經(jīng)元的輸入和輸出,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算

7、法,第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值 。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,第八步，計算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。,2.4

8、.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,BP算法直觀解釋情況一直觀表達(dá) 當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。,2.4.2 BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。,2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

9、的MATLAB實(shí)現(xiàn),MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能,2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能 建立一個前向BP網(wǎng)絡(luò)格式 net = newff(PR，[S1 S2...SN1]，{TF1 TF2...TFN1}，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1 S2…SNl]表示

10、網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；{TFl TF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。,2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能 正切sigmoid激活函數(shù)格式 a = ta

11、nsig(n)說明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能 對數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。,2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),例2-3，下表為某藥品的銷售情況，

12、現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進(jìn)行預(yù)測：輸入層有三個結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對藥品的銷售量進(jìn)行預(yù)測，預(yù)測方法采用滾動預(yù)測方式，即用前三個月的銷售量來預(yù)測第四個月的銷售量，如用1、2、3月的銷售量為輸入預(yù)測第4個月的銷售量，用2、3、4月的銷售量為輸入預(yù)測第5個月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。,2.4.3 BP神經(jīng)

13、網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;]';%以第四個月的銷售量歸一化處

14、理后作為目標(biāo)向量T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0 ,1]，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff([0 1;0 1;0 1],[5,1],{'tansig'

15、,'logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T);,2.4.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn),BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖由對比圖可以看出預(yù)測效果與實(shí)際存在一定誤差，此誤差可以通過增加

16、運(yùn)行步數(shù)和提高預(yù)設(shè)誤差精度業(yè)進(jìn)一步縮小,BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn),非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸