32 基于遺傳算法的神經(jīng)網(wǎng)絡優(yōu)化方法

1、3.2 基于遺傳算法的神經(jīng)網(wǎng)絡優(yōu)化方法,概述,BP算法是人工神經(jīng)網(wǎng)絡中應用最廣泛的算法，但是存在著一些缺陷：一是學習收斂速度太慢；二是不能保證收斂到全局最小點；三是網(wǎng)絡結(jié)構不易確定。 BP算法優(yōu)化后仍存在一定的問題網(wǎng)絡結(jié)構確定初始連接權值選取閾值的選擇遺傳算法應用于神經(jīng)網(wǎng)絡優(yōu)化人工神經(jīng)網(wǎng)絡(ANN)的結(jié)構，學習神經(jīng)網(wǎng)絡的權值，也就是用遺傳算法取代一些傳統(tǒng)的學習算法。,概述,遺傳算法（Genetic Algorith

2、m， GA）是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型。由美國密執(zhí)根(Michigan)大學的J.Holland教授于1975年首先提出。,Hello,I’m John Holland,3.2.2 遺傳算法簡介,算法原理首先將問題求解表示成基因型（如常用的二進制編碼串），從中選取適應環(huán)境的個體，淘汰不好的個體，把保留下來的個體復制再生，通過交叉、變異等遺傳算子產(chǎn)生新一染色體群。依據(jù)各種收斂條件，從新老群體中選出適

3、應環(huán)境的個體，一代一代不斷進步，最后收斂到適應環(huán)境個體上，求得問題最優(yōu)解,3.2.2 遺傳算法簡介,生物遺傳學概念與遺傳算法中概念的對應關系,3.2.2 遺傳算法簡介,算法步驟1.隨機產(chǎn)生一定數(shù)目的初始個體（染色體）這些隨機產(chǎn)生的染色體組成一個種群，種群中的染色體數(shù)目稱為種群的規(guī)?；虼笮。╬op-size）。2.用評價函數(shù)來評價每個染色體的優(yōu)劣 染色體對環(huán)境的適應程度（稱為適應度），并用作以后遺傳操作的依據(jù)。3.基于適應

4、值的選擇策略 從當前種群中選取一定的染色體作為新一代的染色體，染色體的適應度越高，其被選擇的機會越大。4.對這個新生成的種群進行交叉（交配）操作、變異操作。變異操作的目的使種群中的個體具有多樣性，防止陷入局部最優(yōu)解，這樣產(chǎn)生的染色體群（種群）稱為后代。5.判斷是否達到預定的迭代次數(shù)，是則結(jié)束，否則返回2進入下一輪迭代操作,遺傳算法的流程圖,3.2.3 遺傳算法工具箱,編碼和種群生成指令格式：Function[pop]=i

5、nitializega(populationSize,variableBounds,evalFN,evalOps,options)參數(shù)說明：pop：隨機生成的初始種群 populatoinSize：種群大小即種群中個體的數(shù)目variableBounds：表示變量邊界的矩陣evalFN：適應度函數(shù)evalOps：傳給適應度函數(shù)的參數(shù)options：選擇編碼形式：1為浮點編碼,0為二進制編碼,3.2.3 遺傳算法工具箱,進

6、行遺傳操作指令格式：function [x,endPop,bPop,traceInfo]=ga(bounds,evalFN,evalOps,startPop,opts, termFN,termOps,selectFN,selectOps,xOverFNs,xOverOps,mutFNs,mutOps)參數(shù)說明：（1）輸出參數(shù)X：求得的最優(yōu)解 end

7、Pop：得到的最終種群bPop：最優(yōu)種群的搜索軌跡traceInfo：每代的最優(yōu)值和均值矩陣 （2）輸入?yún)?shù)Bounds：代表變量上下界的矩陣startPop：可以從初始化函數(shù)中得到的初始解矩陣evalFN：適應度函數(shù)termFN：終止函數(shù)的名稱termOps：終止函數(shù)的參數(shù)selectFN：選擇函數(shù)名selectOpts：選擇參數(shù)xOverFNS：交叉函數(shù)名 xOverOps：交叉參數(shù)mutFNs：變異函數(shù)名

8、mutOps：變異參數(shù),3.2.4 用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡權值的學習過程,以2.3.2中的BP網(wǎng)絡為例，其遺傳算法學習權值步驟如下1）初始化種群P 包括交叉規(guī)模、交叉概率Pc、突變概率Pm以及權值初始化 2）計算每一個個體評價函數(shù)，并將其排序，可按下式概率值選擇網(wǎng)絡個體 為個體 的適應度，可用誤差平方和來衡量，即 以交叉概率Pc對個體 和 進行交叉操作，產(chǎn)生新個體 和 ，沒有進行交叉操作的個體直

9、接進行復制。,,,,,,,,,3.2.4 用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡權值的學習過程,4）利用變異概率Pm突變產(chǎn)生 的新個體 。5）將新個體插入到種群P中，并計算新個體的評價函數(shù)。6）判斷算法是否結(jié)束。如果找到了滿意的個體或已經(jīng)達到最大的迭代次數(shù)則結(jié)束，否則轉(zhuǎn)3）進入下一輪迭代。算法結(jié)束，如達到預先設定的性能指標后，將最終群體中的最優(yōu)個體解碼即可得到優(yōu)化后的網(wǎng)絡連接權值系數(shù)。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)請參閱4.5