【人工智能_人工智能導論課件】第8章人工神經(jīng)網(wǎng)絡及其應用導論

1、第 8 章 人工神經(jīng)網(wǎng)絡及其應用,教材： 王萬良《人工智能導論》（第3版） 高等教育出版社,第8章 人工神經(jīng)網(wǎng)絡及其應用,人工神經(jīng)網(wǎng)絡是對人腦或生物神經(jīng)網(wǎng)絡若干基本特性的抽象和模擬。為機器學習等許多問題的研究提供了一條新的思路，目前已經(jīng)在模式識別、機器視覺、聯(lián)想記憶、自動控制、信號處理、軟測量、決策分析、智能計算、組合優(yōu)化問題求解、數(shù)據(jù)挖掘等方面獲得成功應用。本章著重介紹最基本、最典型、應

2、用最廣泛的BP神經(jīng)網(wǎng)絡和Hopfield神經(jīng)網(wǎng)絡及其在模式識別、聯(lián)想記憶、軟測量、智能計算、組合優(yōu)化問題求解等方面的應用。,2,第8章 人工神經(jīng)網(wǎng)絡及其應用,神經(jīng)網(wǎng)絡（neural networks，NN）,生物神經(jīng)網(wǎng)絡( natural neural network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構成的錯綜復雜的神經(jīng)網(wǎng)絡，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(artificial

3、 neural networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡系統(tǒng)。,神經(jīng)網(wǎng)絡方法： 隱式的知識表示方法,3,第8章 人工神經(jīng)網(wǎng)絡及其應用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡 8.2 BP神經(jīng)網(wǎng)絡及其學習算法 8.3 BP神經(jīng)網(wǎng)絡的應用 8.4 Hopfield神經(jīng)網(wǎng)絡及其改進 8.5 Hopfield神經(jīng)網(wǎng)絡的應用,4,第8章 人工神經(jīng)網(wǎng)絡及其應用,8.1 神

4、經(jīng)元與神經(jīng)網(wǎng)絡 8.2 BP神經(jīng)網(wǎng)絡及其學習算法 8.3 BP神經(jīng)網(wǎng)絡的應用8.4 Hopfield神經(jīng)網(wǎng)絡及其改進8.5 Hopfield神經(jīng)網(wǎng)絡的應用,5,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡,8.1.1 生物神經(jīng)元的結(jié)構8.1.2 神經(jīng)元數(shù)學模型8.1.3 神經(jīng)網(wǎng)絡結(jié)構與工作方式,6,8.1.1 生物神經(jīng)元的結(jié)構,人腦由一千多億（1011億－ 1014 億）個神經(jīng)細胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構組成，其中大腦皮

5、層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103－ 104個其他神經(jīng)元相連接，形成極為錯綜復雜而又靈活多變的神經(jīng)網(wǎng)絡。 人的智能行為就是由如此高度復雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有包含數(shù)千憶顆星球的銀河系的復雜性能夠與大腦相比。,7,8.1.1 生物神經(jīng)元的結(jié)構,,,,,（輸入）,（輸出）,神經(jīng)沖動,生物神經(jīng)元結(jié)構,,8,8.1.1 生物神經(jīng)元的結(jié)構,工作狀態(tài)： 興奮狀

6、態(tài)：細胞膜電位 > 動作電位的閾值 → 神經(jīng)沖動 抑制狀態(tài)：細胞膜電位 < 動作電位的閾值 學習與遺忘：由于神經(jīng)元結(jié)構的可塑性，突觸的傳遞作用可增強和減弱 。,9,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡,8.1.1 生物神經(jīng)元的結(jié)構8.1.2 神經(jīng)元數(shù)學模型8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,10,8.1.2 神經(jīng)元數(shù)學模型,1943年，麥克洛奇和皮茲提出M－P模型。一般模型：,,11,,8.1.2 神經(jīng)元數(shù)學模

7、型,,：第 個神經(jīng)元的輸出。 ：第 個神經(jīng)元的閾值。 ：外部輸入。 ：權值。,加權求和：其矩陣形式：,12,線性環(huán)節(jié)的傳遞函數(shù)： ：1； ； ； 及其組合等。,8.1.2 神經(jīng)元數(shù)學模型,13,8.1.2 神經(jīng)元數(shù)學模型

8、,非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）,（硬極限函數(shù)或階躍函數(shù)）,（對稱硬極限函數(shù)）,14,8.1.2 神經(jīng)元數(shù)學模型,非線性激勵函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）,（對數(shù)- S 形函數(shù)或S型函數(shù)）,（雙曲正切S形函數(shù)）,15,8.1.2 神經(jīng)元數(shù)學模型,,工作過程:從各輸入端接收輸入信號 uj ( j = 1, 2, …, n )根據(jù)連接權值求出所有輸入的加權和 用非線性激勵函數(shù)進行轉(zhuǎn)換，得到輸出,16,,8.1.2

9、 神經(jīng)元數(shù)學模型,,,,17,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡,8.1.1 生物神經(jīng)元的結(jié)構8.1.2 神經(jīng)元的數(shù)學模型8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,18,8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,決定人工神經(jīng)網(wǎng)絡性能的三大要素：,神經(jīng)元的特性。神經(jīng)元之間相互連接的形式——拓撲結(jié)構。為適應環(huán)境而改善性能的學習規(guī)則。,19,1. 神經(jīng)網(wǎng)絡的結(jié)構 （1）前饋型（ 前向型）,,,8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,20,1

10、. 神經(jīng)網(wǎng)絡的結(jié)構 （2）反饋型,,,（ Hopfield神經(jīng)網(wǎng)絡）,8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,21,2. 神經(jīng)網(wǎng)絡的工作方式,同步（并行）方式：任一時刻神經(jīng)網(wǎng)絡中所有神經(jīng)元同時調(diào)整狀態(tài)。異步（串行）方式：任一時刻只有一個神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。,8.1.3 神經(jīng)網(wǎng)絡的結(jié)構與工作方式,22,第8章 人工神經(jīng)網(wǎng)絡及其應用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡 8.2 BP神經(jīng)網(wǎng)絡及其學習算法 8.

11、3 BP神經(jīng)網(wǎng)絡的應用 8.4 Hopfield神經(jīng)網(wǎng)絡及其改進 8.5 Hopfield神經(jīng)網(wǎng)絡的應用,23,8.2 BP神經(jīng)網(wǎng)絡及其學習算法,8.2.1 BP神經(jīng)網(wǎng)絡 的結(jié)構8.2.2 BP學習算法8.2.3 BP算法的實現(xiàn),24,8.2 BP神經(jīng)網(wǎng)絡及其學習算法,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構8.2.2 BP學習算法8.2.3 BP算法的實現(xiàn),25,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構,,1. BP

12、網(wǎng)絡結(jié)構,26,,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構,,,,,,,,,,,,2. 輸入輸出變換關系,27,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構,,,,,,,,,,,,,3. 工作過程,第一階段或網(wǎng)絡訓練階段： N 組輸入輸出樣本：xi=[xi1, xi2,…, xip1]T di=[di1, di2,…,dipm]T

13、 i=1, 2,…, N 對網(wǎng)絡的連接權進行學習和調(diào)整，以使該網(wǎng)絡實現(xiàn)給定樣本的輸入輸出映射關系。 第二階段或稱工作階段：把實驗數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡，網(wǎng)絡在誤差范圍內(nèi)預測計算出結(jié)果。,28,8.2 BP神經(jīng)網(wǎng)絡及其學習算法,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構8.2.2 BP學習算法8.2.3 BP算法的實現(xiàn),29,（1）是否存在一個BP神經(jīng)網(wǎng)絡能

14、夠逼近給定的樣本或者函數(shù)。,8.2.2 BP學習算法,兩個問題：,（ 2）如何調(diào)整BP神經(jīng)網(wǎng)絡的連接權，使網(wǎng)絡的輸入與輸出與給定的樣本相同。 1986年，魯梅爾哈特（D. Rumelhart）等提出BP學習算法。,,,30,8.2.2 BP學習算法,目標函數(shù)：,,,,,,約束條件：,連接權值的修正量：,1. 基本思想,,,,31,8.2.2 BP學習算法,,,,記,,,,先求,,（1）對輸出層的神經(jīng)元,,,（2）對隱單元層，則

15、有,,,,32,8.2.2 BP學習算法,2. 學習算法,,,33,8.2.2 BP學習算法,正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。 反向傳播：修改各層神經(jīng)元的權值，使誤差信號最小。,,,,,,2. 學習算法,34,8.2.2 BP學習算法,2. 學習算法,,35,8.2 BP神經(jīng)網(wǎng)絡及其學習算法,8.2.1 BP神經(jīng)網(wǎng)絡的結(jié)構8.2.2 BP學習算法8.2.3 BP算法的實現(xiàn),36,8.2.3

16、BP算法的實現(xiàn),（1） 隱層數(shù)及隱層神經(jīng)元數(shù)的確定：目前尚無理論指導。（2）初始權值的設置：一般以一個均值為0的隨機分布設置網(wǎng)絡的初始權值。 （3）訓練數(shù)據(jù)預處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內(nèi)，使得在每個訓練集上，每個特征的均值為0，并且具有相同的方差。（4）后處理過程：當應用神經(jīng)網(wǎng)絡進行分類操作時，通常將輸出值編碼成所謂的名義變量，具體的值對應類別標號。,1. BP算法的設計,37,8.

17、2.3 BP算法的實現(xiàn),（1）初始化：對所有連接權和閾值賦以隨機任意小值；（2） 從 N 組輸入輸出樣本中取一組樣本：x=[x1, x2,…, xp1]T, d=[d1, d2,…,dpm]T, 把輸入信息x=[x1, x2,…, xp1]T輸入到BP網(wǎng)絡中 （3）正向傳播：計算各層節(jié)點的輸出：

18、（4）計算網(wǎng)絡的實際輸出與期望輸出的誤差：,,,,,,2. BP算法的計算機實現(xiàn)流程,38,8.2.3 BP算法的實現(xiàn),（5）反向傳播：從輸出層方向計算到第一個隱層，按連接權值修正公式向減小誤差方向調(diào)整網(wǎng)絡的各個連接權值。（6）讓t+1→t，取出另一組樣本重復（2）－（5），直到 N 組輸入輸出樣本的誤差達到要求時為止。,,,,,,2. BP算法的計算機實現(xiàn)流程,,39,8.2.3 BP算法的實現(xiàn),BP學習算法的程序框

19、圖,40,,,,,,,,,,,,,1. 特點,BP網(wǎng)絡：多層前向網(wǎng)絡（輸入層、隱層、輸出層）。 連接權值：通過Delta學習算法進行修正。 神經(jīng)元傳輸函數(shù)：S形函數(shù)。 學習算法：正向傳播、反向傳播。 層與層的連接是單向的，信息的傳播是雙向的。,8.2.4 BP算法的特點分析,41,,,,,,,,,,,,,2. BP網(wǎng)絡的主要優(yōu)缺點,很好的逼近特性。 具有較強的泛化能力。 具有較好的容錯性。,優(yōu)點,收斂速度慢。 局部極值。

20、 難以確定隱層和隱層結(jié)點的數(shù)目。,缺點,8.2.4 BP算法的特點分析,42,8.3 BP神經(jīng)網(wǎng)絡的應用,8.3.1 BP神經(jīng)網(wǎng)絡在模式識別中的應用8.3.2 BP神經(jīng)網(wǎng)絡在軟測量中的應用,43,8.3.1 BP神經(jīng)網(wǎng)絡在模式識別中的應用,模式識別研究用計算機模擬生物、人的感知，對模式信息，如圖像、文字、語音等，進行識別和分類。 傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但是，對于人類底層的智能，如視覺

21、、聽覺、觸覺等方面，現(xiàn)代計算機系統(tǒng)的信息處理能力還不如一個幼兒園的孩子。 神經(jīng)網(wǎng)絡模型模擬了人腦神經(jīng)系統(tǒng)的特點：處理單元的廣泛連接；并行分布式信息儲存、處理；自適應學習能力等。 神經(jīng)網(wǎng)絡模式識別方法具有較強的容錯能力、自適應學習能力、并行信息處理能力。,44,8.3.1 BP神經(jīng)網(wǎng)絡在模式識別中的應用,,例8.1 設計一個三層BP網(wǎng)絡對數(shù)字0至9進行分類。,,每個數(shù)字用9?7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1

22、。將每個網(wǎng)格表示為0，1的長位串。位映射由左上角開始向下直到網(wǎng)格的整個一列，然后重復其他列。 選擇BP網(wǎng)絡結(jié)構為63-6-9。97個輸入結(jié)點，對應上述網(wǎng)格的映射。9個輸出結(jié)點對應10種分類。 使用的學習步長為0.3。訓練600個周期，如果輸出結(jié)點的值大于0.9，則取為ON，如果輸出結(jié)點的值小于0.1，則取為OFF。,,,45,測試結(jié)果表明：除了8以外，所有被測的數(shù)字都能夠被正確地識別。 對于數(shù)字8

23、，神經(jīng)網(wǎng)絡的第6個結(jié)點的輸出值為0.53，第8個結(jié)點的輸出值為0.41，表明第8個樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。,8.3.1 BP神經(jīng)網(wǎng)絡在模式識別中的應用,當訓練成功后，對如圖所示測試數(shù)據(jù)進行測試。測試數(shù)據(jù)都有一個或者多個位丟失。,46,8.3.2 BP神經(jīng)網(wǎng)絡在軟測量中的應用,,軟測量技術,主導變量：被估計的變量。 輔助變量：與被估計變量相關的一組可測變量。,47,軟測量系統(tǒng)的設計：

24、輔助變量的選擇：變量類型、變量數(shù)量和檢測點位置的選擇。數(shù)據(jù)采集與處理。軟測量模型的建立：通過輔助變量來獲得對主導變量的最佳估計。,8.3.2 BP神經(jīng)網(wǎng)絡在軟測量中的應用,48,序批式活性污泥法（SBR）,8.3.2 BP神經(jīng)網(wǎng)絡在軟測量中的應用,49,BOD、COD、N和P：為軟測量模型的主導變量。ORP、DO、PH和MLSS：輔助變量。三層BP網(wǎng)絡：,8.3.2 BP神經(jīng)網(wǎng)絡在軟測量中的應用,50,第8章 人工神經(jīng)網(wǎng)

25、絡及其應用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡 8.2 BP神經(jīng)網(wǎng)絡及其學習算法 8.3 BP神經(jīng)網(wǎng)絡的應用 8.4 Hopfield神經(jīng)網(wǎng)絡及其改進 8.5 Hopfield神經(jīng)網(wǎng)絡的應用,51,8.4 Hopfield神經(jīng)網(wǎng)絡及其改進,8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3 隨機神經(jīng)網(wǎng)絡,52,8.4 Hopfield神經(jīng)網(wǎng)絡及其改進,8.

26、4.1 離散型Hopfield神經(jīng)網(wǎng)絡8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn)8.4.3 隨機神經(jīng)網(wǎng)絡,53,,,,,離散Hopfield神經(jīng)網(wǎng)絡結(jié)構圖,,…,…,,1,,2,,,,,,,,,,,,,(狀態(tài)）,(閾值）,（連接權值）,,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡,1. 離散Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡結(jié)構：,54,,,,,,…,,注：,,,,,,…,,,或,8.4.1 離散Hopfi

27、eld 神經(jīng)網(wǎng)絡,-1,1. 離散Hopfield神經(jīng)網(wǎng)絡模型輸入輸出關系：,,55,工作方式：,異步（串行）方式:,同步（并行）方式:,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡,1. 離散Hopfield神經(jīng)網(wǎng)絡模型,,56,（異步或同步方式）,初態(tài)：,穩(wěn)態(tài)：,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡,1. 離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：,57,,,,,,,（異步或同步方式）,,,,聯(lián)想 記憶

28、,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡,1. 離散Hopfield神經(jīng)網(wǎng)絡模型工作過程：,58,穩(wěn)定性定義： 若從某一時刻開始，網(wǎng)絡中所有神經(jīng)元的狀態(tài)不再改變，即 ， 則稱該網(wǎng)絡是穩(wěn)定的， 為網(wǎng)絡的穩(wěn)定點或吸引子 。 Hopfield神經(jīng)網(wǎng)絡是高維非線性系統(tǒng)，可能有許多穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開始運動，總可以到某個穩(wěn)定狀態(tài)。這些穩(wěn)定狀態(tài)可以通過改變網(wǎng)絡參數(shù)得到。,,8.4.1

29、 離散Hopfield 神經(jīng)網(wǎng)絡,,2. 網(wǎng)絡的穩(wěn)定性,59,穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S. Grossberg）。 穩(wěn)定性定理（Hopfield）,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡,,2. 網(wǎng)絡的穩(wěn)定性,并行穩(wěn)定性 —— W：非負定對稱陣,串行穩(wěn)定性 —— W：對稱陣,60,8.4 Hopfield神經(jīng)網(wǎng)絡及其改進,8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡8.4.2

30、 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn),61,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn),連續(xù)Hopfield神經(jīng)網(wǎng)絡模型網(wǎng)絡的穩(wěn)定性應用舉例,62,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn),1. 連續(xù)Hopfield神經(jīng)網(wǎng)絡模型,,63,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡及其VLSI實現(xiàn),1. 連續(xù)Hopfield神經(jīng)網(wǎng)絡模型,,,64,8.4.2 連續(xù)型Hopfield神經(jīng)

31、網(wǎng)絡及其VLSI實現(xiàn),2. 網(wǎng)絡的穩(wěn)定性,,計算能量函數(shù) ：,定理：對于連續(xù)型 Hopfield 神經(jīng)網(wǎng)絡，若 為單調(diào)遞增的連續(xù)函數(shù)， Ci > 0, wij = wji , 則 ；當且僅當,,,65,8.4.3 隨機神經(jīng)網(wǎng)絡,Hopfield神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是根據(jù)其輸入是否大于閾值確定的，是確定性的。隨機神經(jīng)網(wǎng)絡中，神經(jīng)元狀態(tài)為1是隨機的，服從一定的

32、概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構成玻爾茲曼機、高斯機、柯西機等隨機機。,66,,8.4.3 隨機神經(jīng)網(wǎng)絡,1. Boltzmann機 1985年，加拿大多倫多大學教授欣頓(Hinton)等人借助統(tǒng)計物理學的概念和方法，提出了Boltzmann機神經(jīng)網(wǎng)絡模型。 Boltzmann機是離散Hopfield神經(jīng)網(wǎng)絡的一種變型，通過對離散Hopfield

33、神經(jīng)網(wǎng)絡加以擾動，使其以概率的形式表達，而網(wǎng)絡的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。 Boltzmann機是按Boltzmann概率分布動作的神經(jīng)網(wǎng)絡。,67,8.4.3 隨機神經(jīng)網(wǎng)絡,1. Boltzmann機 （續(xù)） 離散Hopfield神經(jīng)網(wǎng)絡的輸出： Boltzman機的內(nèi)部狀態(tài)： 神經(jīng)元 輸出值為0和1時的概率：,,,,,,68,8.4.3 隨機神經(jīng)網(wǎng)絡,,,,,

34、,,1. Boltzmann機 （續(xù)） Boltzmann的能量函數(shù)：,神經(jīng)元 狀態(tài)轉(zhuǎn)換時網(wǎng)絡能量的變化：,神經(jīng)元 改變?yōu)闋顟B(tài)“1”的概率：,,,,),exp(,1,1,T,E,p,i,i,D,-,+,=,69,2. 高斯機,8.4.3 隨機神經(jīng)網(wǎng)絡,:均值為0的高斯隨機變量（白噪聲） ，其方差為,3. 柯西機,: 柯西隨機變量（有色噪聲）,70,8.5 Hopfield神經(jīng)網(wǎng)絡的應用,8.5.1 Hopfield神經(jīng)

35、網(wǎng)絡在聯(lián)想記憶中的應用8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,71,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,72,例8.2,傳感器輸出：[外形，質(zhì)地，重量]T,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,73,例8.2,樣本:,具體怎樣實現(xiàn)聯(lián)想記憶？,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,74,樣本:,（1）設計DHNN結(jié)構,3神經(jīng)元的DHNN結(jié)構圖,注：,8.5.1 Hop

36、field神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,75,樣本: ，,連接權：,（ 2）設計連接權矩陣,,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,76,樣本: ，,連接權：,T,],0,1,,0,,[,),2,(,=,x,,（2）設計連接權矩陣,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)

37、想記憶中的應用,77,,,（2）設計連接權矩陣,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,78,,輸入：[1，1，1]T,輸出 ?,（3）測試,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,79,,（3）測試,調(diào)整次序：,初始狀態(tài)：,測試用例：,樣本：,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,80,調(diào)整次序： 2→1→3,k = 0,,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用

38、,81,k = 1,,調(diào)整次序： 2→1→3,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,82,k = 2,,調(diào)整次序： 2→1→3,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,83,k = 2,k = 3,k = 0,k = 1,樣本：,調(diào)整次序：,2 1 3,,,2 1 3,2 1 3,2 1 3,8.5.1 Hopfiel

39、d神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,84,,例8.2,輸入：[1，1 ，1]T,輸出：[1，0 ，1]T,8.5.1 Hopfield神經(jīng)網(wǎng)絡在聯(lián)想記憶中的應用,85,連續(xù)Hopfiled神經(jīng)網(wǎng)絡求解約束優(yōu)化問題的基本思路：,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經(jīng)網(wǎng)絡求解旅行商問題（traveling salesman problem，TSP）獲得成

40、功。,86,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,用神經(jīng)網(wǎng)絡方法求解優(yōu)化問題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由 n 個神經(jīng)元構成的神經(jīng)網(wǎng)絡相對應：每一個可行解的換位矩陣的各元素與相應的神經(jīng)元穩(wěn)態(tài)輸出相對應。（3）構造能量函數(shù)，使其最小值對應于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數(shù)法構造目標函數(shù)，與Hopfield神經(jīng)網(wǎng)絡的計算能量函數(shù)表達式相等，確定各連接權和偏置參

41、數(shù)。（5）給定網(wǎng)絡初始狀態(tài)和網(wǎng)絡參數(shù)等，使網(wǎng)絡按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。,,,87,應用舉例： Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法求解TSP。,1985年，霍普菲爾德和塔克（D. W. Tank）應用連續(xù)Hopfield 神經(jīng)網(wǎng)絡求解旅行商問題獲得成功。,旅行商問題（traveling salesman problem，TSP） ：有 n 個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次

42、，且總路徑（或者總成本）為最短。,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,88,5個城市的TSP：,神經(jīng)元數(shù)目：25,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,89,,TSP的描述：,,用罰函數(shù)法，寫出優(yōu)化問題的目標函數(shù)：,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,90,Hopfield神經(jīng)網(wǎng)絡能量函數(shù)：,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,令E1 與目標函數(shù)J相等，確定神經(jīng)網(wǎng)絡的連接權值和偏置電流：,9

43、1,,,,,神經(jīng)網(wǎng)絡的動態(tài)方程：,,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,92,,,,,選擇合適的A、B、C、D和網(wǎng)絡的初始狀態(tài)，按網(wǎng)絡動態(tài)方程演化直到收斂。,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,93,神經(jīng)網(wǎng)絡優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數(shù)難以確定。（3）能量函數(shù)存在大量局部極小值，難以保證最優(yōu) 解。,8.5.2 Hopfield神經(jīng)網(wǎng)絡優(yōu)化方法,94,THE E