【人工智能_人工智能導(dǎo)論課件】第8章人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用導(dǎo)論

1、第 8 章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,教材： 王萬(wàn)良《人工智能導(dǎo)論》（第3版） 高等教育出版社,第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。為機(jī)器學(xué)習(xí)等許多問(wèn)題的研究提供了一條新的思路，目前已經(jīng)在模式識(shí)別、機(jī)器視覺(jué)、聯(lián)想記憶、自動(dòng)控制、信號(hào)處理、軟測(cè)量、決策分析、智能計(jì)算、組合優(yōu)化問(wèn)題求解、數(shù)據(jù)挖掘等方面獲得成功應(yīng)用。本章著重介紹最基本、最典型、應(yīng)

2、用最廣泛的BP神經(jīng)網(wǎng)絡(luò)和Hopfield神經(jīng)網(wǎng)絡(luò)及其在模式識(shí)別、聯(lián)想記憶、軟測(cè)量、智能計(jì)算、組合優(yōu)化問(wèn)題求解等方面的應(yīng)用。,2,第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,神經(jīng)網(wǎng)絡(luò)（neural networks，NN）,生物神經(jīng)網(wǎng)絡(luò)( natural neural network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周?chē)窠?jīng)系統(tǒng)（感覺(jué)神經(jīng)、運(yùn)動(dòng)神經(jīng)等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(artificial

3、 neural networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運(yùn)用大量簡(jiǎn)單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。,神經(jīng)網(wǎng)絡(luò)方法： 隱式的知識(shí)表示方法,3,第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用,4,第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,8.1 神

4、經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn)8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用,5,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò),8.1.1 生物神經(jīng)元的結(jié)構(gòu)8.1.2 神經(jīng)元數(shù)學(xué)模型8.1.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與工作方式,6,8.1.1 生物神經(jīng)元的結(jié)構(gòu),人腦由一千多億（1011億－ 1014 億）個(gè)神經(jīng)細(xì)胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮

5、層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。神經(jīng)元約有1000種類(lèi)型，每個(gè)神經(jīng)元大約與103－ 104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。 人的智能行為就是由如此高度復(fù)雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有包含數(shù)千憶顆星球的銀河系的復(fù)雜性能夠與大腦相比。,7,8.1.1 生物神經(jīng)元的結(jié)構(gòu),,,,,（輸入）,（輸出）,神經(jīng)沖動(dòng),生物神經(jīng)元結(jié)構(gòu),,8,8.1.1 生物神經(jīng)元的結(jié)構(gòu),工作狀態(tài)： 興奮狀

6、態(tài)：細(xì)胞膜電位 > 動(dòng)作電位的閾值 → 神經(jīng)沖動(dòng) 抑制狀態(tài)：細(xì)胞膜電位 < 動(dòng)作電位的閾值 學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱 。,9,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò),8.1.1 生物神經(jīng)元的結(jié)構(gòu)8.1.2 神經(jīng)元數(shù)學(xué)模型8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,10,8.1.2 神經(jīng)元數(shù)學(xué)模型,1943年，麥克洛奇和皮茲提出M－P模型。一般模型：,,11,,8.1.2 神經(jīng)元數(shù)學(xué)模

7、型,,：第 個(gè)神經(jīng)元的輸出。 ：第 個(gè)神經(jīng)元的閾值。 ：外部輸入。 ：權(quán)值。,加權(quán)求和：其矩陣形式：,12,線性環(huán)節(jié)的傳遞函數(shù)： ：1； ； ； 及其組合等。,8.1.2 神經(jīng)元數(shù)學(xué)模型,13,8.1.2 神經(jīng)元數(shù)學(xué)模型

8、,非線性激勵(lì)函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）,（硬極限函數(shù)或階躍函數(shù)）,（對(duì)稱(chēng)硬極限函數(shù)）,14,8.1.2 神經(jīng)元數(shù)學(xué)模型,非線性激勵(lì)函數(shù)（傳輸函數(shù)、輸出變換函數(shù)）,（對(duì)數(shù)- S 形函數(shù)或S型函數(shù)）,（雙曲正切S形函數(shù)）,15,8.1.2 神經(jīng)元數(shù)學(xué)模型,,工作過(guò)程:從各輸入端接收輸入信號(hào) uj ( j = 1, 2, …, n )根據(jù)連接權(quán)值求出所有輸入的加權(quán)和 用非線性激勵(lì)函數(shù)進(jìn)行轉(zhuǎn)換，得到輸出,16,,8.1.2

9、 神經(jīng)元數(shù)學(xué)模型,,,,17,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò),8.1.1 生物神經(jīng)元的結(jié)構(gòu)8.1.2 神經(jīng)元的數(shù)學(xué)模型8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,18,8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,決定人工神經(jīng)網(wǎng)絡(luò)性能的三大要素：,神經(jīng)元的特性。神經(jīng)元之間相互連接的形式——拓?fù)浣Y(jié)構(gòu)。為適應(yīng)環(huán)境而改善性能的學(xué)習(xí)規(guī)則。,19,1. 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) （1）前饋型（ 前向型）,,,8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,20,1

10、. 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) （2）反饋型,,,（ Hopfield神經(jīng)網(wǎng)絡(luò)）,8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,21,2. 神經(jīng)網(wǎng)絡(luò)的工作方式,同步（并行）方式：任一時(shí)刻神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元同時(shí)調(diào)整狀態(tài)。異步（串行）方式：任一時(shí)刻只有一個(gè)神經(jīng)元調(diào)整狀態(tài)，而其它神經(jīng)元的狀態(tài)保持不變。,8.1.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,22,第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.

11、3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用,23,8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法,8.2.1 BP神經(jīng)網(wǎng)絡(luò) 的結(jié)構(gòu)8.2.2 BP學(xué)習(xí)算法8.2.3 BP算法的實(shí)現(xiàn),24,8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2.2 BP學(xué)習(xí)算法8.2.3 BP算法的實(shí)現(xiàn),25,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),,1. BP

12、網(wǎng)絡(luò)結(jié)構(gòu),26,,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),,,,,,,,,,,,2. 輸入輸出變換關(guān)系,27,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),,,,,,,,,,,,,3. 工作過(guò)程,第一階段或網(wǎng)絡(luò)訓(xùn)練階段： N 組輸入輸出樣本：xi=[xi1, xi2,…, xip1]T di=[di1, di2,…,dipm]T

13、 i=1, 2,…, N 對(duì)網(wǎng)絡(luò)的連接權(quán)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定樣本的輸入輸出映射關(guān)系。 第二階段或稱(chēng)工作階段：把實(shí)驗(yàn)數(shù)據(jù)或?qū)嶋H數(shù)據(jù)輸入到網(wǎng)絡(luò)，網(wǎng)絡(luò)在誤差范圍內(nèi)預(yù)測(cè)計(jì)算出結(jié)果。,28,8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2.2 BP學(xué)習(xí)算法8.2.3 BP算法的實(shí)現(xiàn),29,（1）是否存在一個(gè)BP神經(jīng)網(wǎng)絡(luò)能

14、夠逼近給定的樣本或者函數(shù)。,8.2.2 BP學(xué)習(xí)算法,兩個(gè)問(wèn)題：,（ 2）如何調(diào)整BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，使網(wǎng)絡(luò)的輸入與輸出與給定的樣本相同。 1986年，魯梅爾哈特（D. Rumelhart）等提出BP學(xué)習(xí)算法。,,,30,8.2.2 BP學(xué)習(xí)算法,目標(biāo)函數(shù)：,,,,,,約束條件：,連接權(quán)值的修正量：,1. 基本思想,,,,31,8.2.2 BP學(xué)習(xí)算法,,,,記,,,,先求,,（1）對(duì)輸出層的神經(jīng)元,,,（2）對(duì)隱單元層，則

15、有,,,,32,8.2.2 BP學(xué)習(xí)算法,2. 學(xué)習(xí)算法,,,33,8.2.2 BP學(xué)習(xí)算法,正向傳播：輸入信息由輸入層傳至隱層，最終在輸出層輸出。 反向傳播：修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。,,,,,,2. 學(xué)習(xí)算法,34,8.2.2 BP學(xué)習(xí)算法,2. 學(xué)習(xí)算法,,35,8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法,8.2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)8.2.2 BP學(xué)習(xí)算法8.2.3 BP算法的實(shí)現(xiàn),36,8.2.3

16、BP算法的實(shí)現(xiàn),（1） 隱層數(shù)及隱層神經(jīng)元數(shù)的確定：目前尚無(wú)理論指導(dǎo)。（2）初始權(quán)值的設(shè)置：一般以一個(gè)均值為0的隨機(jī)分布設(shè)置網(wǎng)絡(luò)的初始權(quán)值。 （3）訓(xùn)練數(shù)據(jù)預(yù)處理：線性的特征比例變換，將所有的特征變換到[0，1]或者[-1，1]區(qū)間內(nèi)，使得在每個(gè)訓(xùn)練集上，每個(gè)特征的均值為0，并且具有相同的方差。（4）后處理過(guò)程：當(dāng)應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)操作時(shí)，通常將輸出值編碼成所謂的名義變量，具體的值對(duì)應(yīng)類(lèi)別標(biāo)號(hào)。,1. BP算法的設(shè)計(jì),37,8.

17、2.3 BP算法的實(shí)現(xiàn),（1）初始化：對(duì)所有連接權(quán)和閾值賦以隨機(jī)任意小值；（2） 從 N 組輸入輸出樣本中取一組樣本：x=[x1, x2,…, xp1]T, d=[d1, d2,…,dpm]T, 把輸入信息x=[x1, x2,…, xp1]T輸入到BP網(wǎng)絡(luò)中 （3）正向傳播：計(jì)算各層節(jié)點(diǎn)的輸出：

18、（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差：,,,,,,2. BP算法的計(jì)算機(jī)實(shí)現(xiàn)流程,38,8.2.3 BP算法的實(shí)現(xiàn),（5）反向傳播：從輸出層方向計(jì)算到第一個(gè)隱層，按連接權(quán)值修正公式向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值。（6）讓t+1→t，取出另一組樣本重復(fù)（2）－（5），直到 N 組輸入輸出樣本的誤差達(dá)到要求時(shí)為止。,,,,,,2. BP算法的計(jì)算機(jī)實(shí)現(xiàn)流程,,39,8.2.3 BP算法的實(shí)現(xiàn),BP學(xué)習(xí)算法的程序框

19、圖,40,,,,,,,,,,,,,1. 特點(diǎn),BP網(wǎng)絡(luò)：多層前向網(wǎng)絡(luò)（輸入層、隱層、輸出層）。 連接權(quán)值：通過(guò)Delta學(xué)習(xí)算法進(jìn)行修正。 神經(jīng)元傳輸函數(shù)：S形函數(shù)。 學(xué)習(xí)算法：正向傳播、反向傳播。 層與層的連接是單向的，信息的傳播是雙向的。,8.2.4 BP算法的特點(diǎn)分析,41,,,,,,,,,,,,,2. BP網(wǎng)絡(luò)的主要優(yōu)缺點(diǎn),很好的逼近特性。 具有較強(qiáng)的泛化能力。 具有較好的容錯(cuò)性。,優(yōu)點(diǎn),收斂速度慢。 局部極值。

20、 難以確定隱層和隱層結(jié)點(diǎn)的數(shù)目。,缺點(diǎn),8.2.4 BP算法的特點(diǎn)分析,42,8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用,8.3.1 BP神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,43,8.3.1 BP神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用,模式識(shí)別研究用計(jì)算機(jī)模擬生物、人的感知，對(duì)模式信息，如圖像、文字、語(yǔ)音等，進(jìn)行識(shí)別和分類(lèi)。 傳統(tǒng)人工智能的研究部分地顯示了人腦的歸納、推理等智能。但是，對(duì)于人類(lèi)底層的智能，如視覺(jué)

21、、聽(tīng)覺(jué)、觸覺(jué)等方面，現(xiàn)代計(jì)算機(jī)系統(tǒng)的信息處理能力還不如一個(gè)幼兒園的孩子。 神經(jīng)網(wǎng)絡(luò)模型模擬了人腦神經(jīng)系統(tǒng)的特點(diǎn)：處理單元的廣泛連接；并行分布式信息儲(chǔ)存、處理；自適應(yīng)學(xué)習(xí)能力等。 神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法具有較強(qiáng)的容錯(cuò)能力、自適應(yīng)學(xué)習(xí)能力、并行信息處理能力。,44,8.3.1 BP神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用,,例8.1 設(shè)計(jì)一個(gè)三層BP網(wǎng)絡(luò)對(duì)數(shù)字0至9進(jìn)行分類(lèi)。,,每個(gè)數(shù)字用9?7的網(wǎng)格表示，灰色像素代表0，黑色像素代表1

22、。將每個(gè)網(wǎng)格表示為0，1的長(zhǎng)位串。位映射由左上角開(kāi)始向下直到網(wǎng)格的整個(gè)一列，然后重復(fù)其他列。 選擇BP網(wǎng)絡(luò)結(jié)構(gòu)為63-6-9。97個(gè)輸入結(jié)點(diǎn)，對(duì)應(yīng)上述網(wǎng)格的映射。9個(gè)輸出結(jié)點(diǎn)對(duì)應(yīng)10種分類(lèi)。 使用的學(xué)習(xí)步長(zhǎng)為0.3。訓(xùn)練600個(gè)周期，如果輸出結(jié)點(diǎn)的值大于0.9，則取為ON，如果輸出結(jié)點(diǎn)的值小于0.1，則取為OFF。,,,45,測(cè)試結(jié)果表明：除了8以外，所有被測(cè)的數(shù)字都能夠被正確地識(shí)別。 對(duì)于數(shù)字8

23、，神經(jīng)網(wǎng)絡(luò)的第6個(gè)結(jié)點(diǎn)的輸出值為0.53，第8個(gè)結(jié)點(diǎn)的輸出值為0.41，表明第8個(gè)樣本是模糊的，可能是數(shù)字6，也可能是數(shù)字8，但也不完全確信是兩者之一。,8.3.1 BP神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用,當(dāng)訓(xùn)練成功后，對(duì)如圖所示測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試數(shù)據(jù)都有一個(gè)或者多個(gè)位丟失。,46,8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,,軟測(cè)量技術(shù),主導(dǎo)變量：被估計(jì)的變量。 輔助變量：與被估計(jì)變量相關(guān)的一組可測(cè)變量。,47,軟測(cè)量系統(tǒng)的設(shè)計(jì)：

24、輔助變量的選擇：變量類(lèi)型、變量數(shù)量和檢測(cè)點(diǎn)位置的選擇。數(shù)據(jù)采集與處理。軟測(cè)量模型的建立：通過(guò)輔助變量來(lái)獲得對(duì)主導(dǎo)變量的最佳估計(jì)。,8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,48,序批式活性污泥法（SBR）,8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,49,BOD、COD、N和P：為軟測(cè)量模型的主導(dǎo)變量。ORP、DO、PH和MLSS：輔助變量。三層BP網(wǎng)絡(luò)：,8.3.2 BP神經(jīng)網(wǎng)絡(luò)在軟測(cè)量中的應(yīng)用,50,第8章 人工神經(jīng)網(wǎng)

25、絡(luò)及其應(yīng)用,8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用,51,8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn),8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn)8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),52,8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn),8.

26、4.1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn)8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),53,,,,,離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,,…,…,,1,,2,,,,,,,,,,,,,(狀態(tài)）,(閾值）,（連接權(quán)值）,,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò),1. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)結(jié)構(gòu)：,54,,,,,,…,,注：,,,,,,…,,,或,8.4.1 離散Hopfi

27、eld 神經(jīng)網(wǎng)絡(luò),-1,1. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型輸入輸出關(guān)系：,,55,工作方式：,異步（串行）方式:,同步（并行）方式:,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò),1. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型,,56,（異步或同步方式）,初態(tài)：,穩(wěn)態(tài)：,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò),1. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型工作過(guò)程：,57,,,,,,,（異步或同步方式）,,,,聯(lián)想 記憶

28、,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò),1. 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型工作過(guò)程：,58,穩(wěn)定性定義： 若從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不再改變，即 ， 則稱(chēng)該網(wǎng)絡(luò)是穩(wěn)定的， 為網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或吸引子 。 Hopfield神經(jīng)網(wǎng)絡(luò)是高維非線性系統(tǒng)，可能有許多穩(wěn)定優(yōu)態(tài)。從任何初始狀態(tài)開(kāi)始運(yùn)動(dòng)，總可以到某個(gè)穩(wěn)定狀態(tài)。這些穩(wěn)定狀態(tài)可以通過(guò)改變網(wǎng)絡(luò)參數(shù)得到。,,8.4.1

29、 離散Hopfield 神經(jīng)網(wǎng)絡(luò),,2. 網(wǎng)絡(luò)的穩(wěn)定性,59,穩(wěn)定性定理證明：1983年，科恩（Cohen）、葛勞斯伯格（S. Grossberg）。 穩(wěn)定性定理（Hopfield）,8.4.1 離散Hopfield 神經(jīng)網(wǎng)絡(luò),,2. 網(wǎng)絡(luò)的穩(wěn)定性,并行穩(wěn)定性 —— W：非負(fù)定對(duì)稱(chēng)陣,串行穩(wěn)定性 —— W：對(duì)稱(chēng)陣,60,8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn),8.4.1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)8.4.2

30、 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn),61,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn),連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)的穩(wěn)定性應(yīng)用舉例,62,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn),1. 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)模型,,63,8.4.2 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn),1. 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)模型,,,64,8.4.2 連續(xù)型Hopfield神經(jīng)

31、網(wǎng)絡(luò)及其VLSI實(shí)現(xiàn),2. 網(wǎng)絡(luò)的穩(wěn)定性,,計(jì)算能量函數(shù) ：,定理：對(duì)于連續(xù)型 Hopfield 神經(jīng)網(wǎng)絡(luò)，若 為單調(diào)遞增的連續(xù)函數(shù)， Ci > 0, wij = wji , 則 ；當(dāng)且僅當(dāng),,,65,8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),Hopfield神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是根據(jù)其輸入是否大于閾值確定的，是確定性的。隨機(jī)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是隨機(jī)的，服從一定的

32、概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機(jī)、高斯機(jī)、柯西機(jī)等隨機(jī)機(jī)。,66,,8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),1. Boltzmann機(jī) 1985年，加拿大多倫多大學(xué)教授欣頓(Hinton)等人借助統(tǒng)計(jì)物理學(xué)的概念和方法，提出了Boltzmann機(jī)神經(jīng)網(wǎng)絡(luò)模型。 Boltzmann機(jī)是離散Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型，通過(guò)對(duì)離散Hopfield

33、神經(jīng)網(wǎng)絡(luò)加以擾動(dòng)，使其以概率的形式表達(dá)，而網(wǎng)絡(luò)的模型方程不變，只是輸出值類(lèi)似于Boltzmann分布以概率分布取值。 Boltzmann機(jī)是按Boltzmann概率分布動(dòng)作的神經(jīng)網(wǎng)絡(luò)。,67,8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),1. Boltzmann機(jī) （續(xù)） 離散Hopfield神經(jīng)網(wǎng)絡(luò)的輸出： Boltzman機(jī)的內(nèi)部狀態(tài)： 神經(jīng)元 輸出值為0和1時(shí)的概率：,,,,,,68,8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),,,,,

34、,,1. Boltzmann機(jī) （續(xù)） Boltzmann的能量函數(shù)：,神經(jīng)元 狀態(tài)轉(zhuǎn)換時(shí)網(wǎng)絡(luò)能量的變化：,神經(jīng)元 改變?yōu)闋顟B(tài)“1”的概率：,,,,),exp(,1,1,T,E,p,i,i,D,-,+,=,69,2. 高斯機(jī),8.4.3 隨機(jī)神經(jīng)網(wǎng)絡(luò),:均值為0的高斯隨機(jī)變量（白噪聲） ，其方差為,3. 柯西機(jī),: 柯西隨機(jī)變量（有色噪聲）,70,8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用,8.5.1 Hopfield神經(jīng)

35、網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,71,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,72,例8.2,傳感器輸出：[外形，質(zhì)地，重量]T,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,73,例8.2,樣本:,具體怎樣實(shí)現(xiàn)聯(lián)想記憶？,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,74,樣本:,（1）設(shè)計(jì)DHNN結(jié)構(gòu),3神經(jīng)元的DHNN結(jié)構(gòu)圖,注：,8.5.1 Hop

36、field神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,75,樣本: ，,連接權(quán)：,（ 2）設(shè)計(jì)連接權(quán)矩陣,,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,76,樣本: ，,連接權(quán)：,T,],0,1,,0,,[,),2,(,=,x,,（2）設(shè)計(jì)連接權(quán)矩陣,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)

37、想記憶中的應(yīng)用,77,,,（2）設(shè)計(jì)連接權(quán)矩陣,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,78,,輸入：[1，1，1]T,輸出 ?,（3）測(cè)試,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,79,,（3）測(cè)試,調(diào)整次序：,初始狀態(tài)：,測(cè)試用例：,樣本：,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,80,調(diào)整次序： 2→1→3,k = 0,,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用

38、,81,k = 1,,調(diào)整次序： 2→1→3,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,82,k = 2,,調(diào)整次序： 2→1→3,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,83,k = 2,k = 3,k = 0,k = 1,樣本：,調(diào)整次序：,2 1 3,,,2 1 3,2 1 3,2 1 3,8.5.1 Hopfiel

39、d神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,84,,例8.2,輸入：[1，1 ，1]T,輸出：[1，0 ，1]T,8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用,85,連續(xù)Hopfiled神經(jīng)網(wǎng)絡(luò)求解約束優(yōu)化問(wèn)題的基本思路：,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,1985年，霍普菲爾德和塔克（D. W. Tank）應(yīng)用連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)求解旅行商問(wèn)題（traveling salesman problem，TSP）獲得成

40、功。,86,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,用神經(jīng)網(wǎng)絡(luò)方法求解優(yōu)化問(wèn)題的一般步驟：（1）將優(yōu)化問(wèn)題的每一個(gè)可行解用換位矩陣表示。（2）將換位矩陣與由 n 個(gè)神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)相對(duì)應(yīng)：每一個(gè)可行解的換位矩陣的各元素與相應(yīng)的神經(jīng)元穩(wěn)態(tài)輸出相對(duì)應(yīng)。（3）構(gòu)造能量函數(shù)，使其最小值對(duì)應(yīng)于優(yōu)化問(wèn)題的最優(yōu)解，并滿(mǎn)足約束條件。（4）用罰函數(shù)法構(gòu)造目標(biāo)函數(shù)，與Hopfield神經(jīng)網(wǎng)絡(luò)的計(jì)算能量函數(shù)表達(dá)式相等，確定各連接權(quán)和偏置參

41、數(shù)。（5）給定網(wǎng)絡(luò)初始狀態(tài)和網(wǎng)絡(luò)參數(shù)等，使網(wǎng)絡(luò)按動(dòng)態(tài)方程運(yùn)行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問(wèn)題的解。,,,87,應(yīng)用舉例： Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解TSP。,1985年，霍普菲爾德和塔克（D. W. Tank）應(yīng)用連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)求解旅行商問(wèn)題獲得成功。,旅行商問(wèn)題（traveling salesman problem，TSP） ：有 n 個(gè)城市，城市間的距離或旅行成本已知，求合理的路線使每個(gè)城市都訪問(wèn)一次

42、，且總路徑（或者總成本）為最短。,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,88,5個(gè)城市的TSP：,神經(jīng)元數(shù)目：25,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,89,,TSP的描述：,,用罰函數(shù)法，寫(xiě)出優(yōu)化問(wèn)題的目標(biāo)函數(shù)：,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,90,Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)：,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,令E1 與目標(biāo)函數(shù)J相等，確定神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和偏置電流：,9

43、1,,,,,神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程：,,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,92,,,,,選擇合適的A、B、C、D和網(wǎng)絡(luò)的初始狀態(tài)，按網(wǎng)絡(luò)動(dòng)態(tài)方程演化直到收斂。,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,93,神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算目前存在的問(wèn)題：（1）解的不穩(wěn)定性。（2）參數(shù)難以確定。（3）能量函數(shù)存在大量局部極小值，難以保證最優(yōu) 解。,8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法,94,THE E