2人工神經網絡導論第2章

1、2024/3/29,1,第2章 神經元模型和網絡結構,,2024/3/29,2,2.1 目的,第1章給出了生物神經元和神經網絡的簡述?，F在來介紹簡化的神經元數學模型，并解釋這些人工神經元如何相互連接形成各種網絡結構。另外，本章還將通過幾個簡單的實例闡述這些網絡如何工作。 本書中將使用本章所引入的概念和符號。,2024/3/29,3,2.2 原理和實例,2.2.1 符號 神經網絡是一門新興學科。迄今為止，人們還

2、并沒有對其建立嚴格的數學符號和結構化表示。另外，神經網絡方面的論文和書籍均是來自諸如工程、物理、心理學和數學等許多不同領域，作者都習慣使用本專業(yè)的特殊詞匯。于是，神經網絡的許多文獻都難以閱讀，概念也較實際情況更為復雜。 在本書中，我們盡可能地使用標準符號。,2024/3/29,4,本書中的圖、數學公式以及解釋圖和數學公式的正文，將使用以下符號：標量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：

3、大寫的黑正體字母，如 A,B,C。,2.2 原理和實例,2024/3/29,5,,2.2.2 神經元模型1．單輸入神經元概念：輸入、權值、偏置（值）、凈輸入、 傳輸函數、輸出. 一個規(guī)范的單輸入神經元如圖2-1 所示。 圖2-1 單輸入神經元表示,2024/3/29,6,●標量輸入p乘上標量權值w得到wp，再將其送人累加器?！窳硪粋€輸入1 乘上偏置值b，再將

4、其送人累 加器?！窭奂悠鬏敵鐾ǔ１环Q為凈輸入n，它被送人一個傳輸函數?！駛鬏敽瘮礷中產生神經元的標量輸出a。 若將這個簡單模型和第1章所討論的生物神經元相對照，則權值對應于突觸的連接強度，細胞體對應于累加器和傳輸函數，神經元輸出代表軸突的信號。,2024/3/29,7,,神經元輸出按下式計算：例如，若 ，則

5、 注意，w和b是神經元的可調整標量參數。設計者也可選擇特定的傳輸函數，在一些學習規(guī)則中調整參數w和b，以滿足特定的需要。正如將在下一節(jié)所討論的，依據不同目的可以選擇不同的傳輸函數。,2024/3/29,8,2．傳輸函數 圖2-1中的傳輸函數可以是累加器輸出（凈輸入）n的線性或非線性函數?？梢杂锰囟ǖ膫鬏敽瘮禎M足神經元要解決的特定問題。 本書包括了各種不同的傳輸函數。下面將討論其中最常用的三種。,2024/3/29,

6、9,●硬極限傳輸函數: 硬極限傳輸函數如圖2-2 中的左圖所示，當函數的自變量小于0時，函數的輸出為0 ;當函數的自變量大于或等于0時，函數的輸出為1 。用該函數可以把輸入分成兩類。 第三、四章將廣泛使用該傳輸函數。 硬極限傳輸函數 單輸入hardlim神經元 圖2-2 硬極限傳輸函數,2024/3/

7、29,10,圖2-2的右圖描述了使用硬極限傳輸函數的單輸入神經元的輸入/輸出特征曲線。從中可看出權值和偏置值的影響。注意，兩圖之間的圖標代表硬極限傳輸函數。在網絡圖中的這個圖標表示使用了該傳輸函數。,,2024/3/29,11,●線性傳輸函數： 線性傳輸函數的輸出等于輸入（如圖2-3 所示）: 線性傳輸函數 單輸入purelin

8、神經元圖2-3 線性傳輸函數,,,,2024/3/29,12,●對數-S 形傳輸函數： 對數-S 形（logsig）傳輸函數如圖2-4 所示。 Log-Sigmoid 傳輸函數 單輸入logsig神經元 圖2-4 對數-S形傳輸函數

9、,,,2024/3/29,13,該傳輸函數的輸入在（-∞，+∞）之間取值，輸出則在0到1 之間取值，其數學表達為： 本書所用的大多數傳輸函數在表2-1中都可以找到。當然，你也可以定義不同于表2-1的傳輸函數。,,2024/3/29,14,,,,,,,,表2-1 傳輸函數,2024/3/29,15,2024/3/29,16,2024/3/29,17,3．多輸入神經元 概念：權值矩陣： 通常，一個

10、神經元有不止一個輸入。具有R個輸入的神經元如圖2-5 所示。 其輸入： 分別對應權值矩陣W的元素：,2024/3/29,18,圖2-5 多輸入神經元,2024/3/29,19,該神經元有一個偏置值b，它與所有輸入的加權和累加，從而形成凈輸入 ：這個表達式也可以寫成矩陣形式：其中單個神經元的權值矩陣W只有一列元素。神經元的輸出可以寫成：,,,,2024/3/29,20,,概念：權值下標

11、 權值矩陣元素下標的第一個下標表示權值相應連接所指定的目標神經元編號，第二個下標表示權值相應連接的源神經元編號。 據此， 的含義是：該權值表示從第二個源神經元到第一個目標神經元的連接。,,2024/3/29,21,概念：簡化符號 本書將采用簡化符號來表示神經元。 圖2-6 為利用這種符號所表示的多輸入神經元。 圖2-6

12、具有R個輸入的神經元的簡化符號,2024/3/29,22,例2.1 對于圖2-5所示的單個神經元設輸入 ，分別采用hardlm, hardlims, purelin,satlin,logsig傳輸函數，求神經元的輸出值。,,,2024/3/29,23,解：據（2.1）式有,,2024/3/29,24,2.2.3 網絡結構1．神經網絡的層 概念：層 圖2-7

13、是由S個神經元組成的單層網絡。 注意，R個輸入中的每一個值均與每個神經元相連。權值矩陣現有S行。 通常，每層的輸入個數并不等于該層中神經元的數目（即R≠S）,2024/3/29,25,圖2-7 S個神經元組成的層,2024/3/29,26,輸入向量通過如下權矩陣W進入網絡：,(2.6),,2024/3/29,27,同樣，具有S個神經元、R 個輸入的單層網絡能用簡化的符號表示為圖2-8 所示的形式。

14、 圖2-8 由S個神經元組成的層的簡化表示,2024/3/29,28,2．多層神經網絡 概念：層上標 第一層的值矩陣可以寫為 ,第二層的權值矩陣可以寫為 ，等等。如圖2-9所示的三層網絡就用了這種標記方法。,,,2024/3/29,29,,圖2-9 三層網絡,2024/3/29,30,如圖所示，第一層有R個輸入、S1個神經元，第二

15、層有S2個神經元，等等。要注意不同層可以有不同數目的神經元。 第一層和第二層的輸出分別是第二層和第三層的輸入。 據此，可以將第二層看作是一個單層網絡，它有R = S1個輸入，S ＝S2個神經元，和一個S1?S2維的權值矩陣W2。第二層的輸入是a1 ，輸出是a2。 第三層與第二層情況相似。,2024/3/29,31,概念：輸出層、隱含層 如某層的輸出是網絡的輸出，則稱該層為輸

16、出層，而其他層叫隱含層。 上圖中的網絡有一個輸出層（第3 層）和兩個隱含層（第1 層和第2層）。前面討論的三層網絡同樣也可以用簡化的符號表示，如圖2-10 所示。,2024/3/29,32,,圖2-10 三層網絡的簡化表示,2024/3/29,33,多層網絡的功能要比單層網絡強大得多。比如，一個第一層具有S 形傳輸函數、第二層具有線性傳輸函數的網絡，經過訓練可對大多數函數達到任意精度的逼近,而單層網絡則不能做到這一點。

17、,2024/3/29,34,,決定一個網絡的神經元個數非常重要。網絡的輸入/輸出神經元的數量是由問題描述定義的。如果有4 個外部變量作為網絡輸入，那么網絡就有4 個外部變量作為網絡輸入，那么網絡就有4個輸入。 同樣，如果網絡有7個輸出，那么網絡的輸出層就應該有7 個神經元。,2024/3/29,35,輸出信號所期望的特征有助于選擇輸出層的傳輸函數。如果一個輸出要么是-1 ，要么是1 ，那么該輸出神經元就可以用對稱硬極限傳

18、輸函數。,2024/3/29,36,那么，如果網絡有兩層以上的神經元時，又將如何確定各層的神經元數目？其實問題的關鍵在于外部問題并沒有直接指明隱含層需要的神經元數目。,2024/3/29,37,實際上，精確預測隱含層所需要的神經元的數目至今仍然存在一些在理論上還沒有解決的問題。這個問題是一個十分活躍的研究領域。 大多數實際的神經網絡僅僅只有2到3層神經元，很少有4層或更多層。,2024/3/29,38,這里還應該討論一下偏置值

19、的使用問題。是否使用偏置值是可以選擇的。偏置值給網絡提供了額外的變量，從而使得網絡具有更強的能力，事實也的確是如此。例如，如果沒有偏置值，當網絡輸入為0時，一個神經元的凈輸入總是為0。這是不希望出現的，可以通過用偏置值來避免。,2024/3/29,39,,例2．2 設

20、 試畫出其網絡結構示意圖，并求網絡的輸出值。,,2024/3/29,40,,圖2-14 例2.2的神經網絡的結構,2024/3/29,41,則,,2024/3/29,42,例2.3 一個兩層神經網絡有4個輸入，3個輸出，輸出為0～1之間連續(xù)變化量。設第1層的神經元數為2,傳輸函數為tansig,兩層神經元都有閾值，畫出其網絡向量模型結構示意圖。,

21、2024/3/29,43,,解：根據題意，其網絡向量模型結構示意圖如圖2-15 圖2-15 例2.3 神經網絡的向量模型,2024/3/29,44,例2.4 某個神經網絡的部分屬性如下，據此畫出其網絡向量模型結構示意圖。net.numlnputs=1 %網絡有1個輸入向量net.inputs{l}.size=2 %2個輸入變量，即輸入變量為2維。net.numLayers=2

22、 %有2個網絡層net.layers{l}.dimensions = 3 %第l個網 絡層有3個神經元,2024/3/29,45,net.layers{2｝.dimensions = 2 %第2個網絡層有2個神經元net.biasConnect=[1;1] %每個網絡層的神經元都有閾值net.inp

23、utConnect＝[1;0] %第1個網絡層（輸入層）與輸入向量連接， %第2 個網絡層與輸入向量無連接net.layerConnect=[0 0; 1 0] %只有第1個網絡層到第2個網絡層的連接， %無其他網絡層連接,2024/3/29,46,net.outputConnect＝[ 0 1 ] %第2個網絡層

24、為輸出層，net.outputs{l}.size=2 %有2個輸出變量，即輸出變量為2維。net.layers{l}.transferFcn=logsig %第一網絡層神經元的傳輸函數為logsignet.layers{2}.transferFcn =logsig %第二網絡層神經元的傳輸函數為logsig解:據此畫出網絡向量模型結構示意

25、圖如圖2 -16 所示。,2024/3/29,47,,圖2-16 例2.4 神經網絡的向量模型,2024/3/29,48,,2.3 小結: 單輸入神經元：,,2024/3/29,49,多輸入神經元：,2024/3/29,50,,多輸入神經元簡化圖示：,,2024/3/29,51,傳輸函數：,2024/3/29,52,,,,,,,,,2024/3/29,53,,,,,,,,,,,2024/3/29,54,神經元層,,2024/3/29

26、,55,三層神經元簡化圖示：,,,2024/3/29,56,,如何選取一種網絡結構？ 應用問題的描述從如下幾個方面非常有助于定義網絡的結構： l）網絡的輸入個數＝應用問題的輸入數;2）輸出層神經元的數目＝應用問題的輸出數目;3）輸出層的傳輸函數選擇至少部分依賴于應用問題的輸出描述。,2024/3/29,57,2.4 例題P2.1 一個單輸入神經元的輸入是2.0 ，其權值是2.3 ，偏置值是-3。?。﹤?/p>

27、輸函數的凈輸入是多少？ⅱ）神經元的輸出是多少？,2024/3/29,58,解：（?。﹤鬏敽瘮档木W絡輸入由下式給出：（ⅱ）因為未指定傳輸函數，所以不能確定該神經元的輸出。,,2024/3/29,59,P2.2 如果P2.1中的神經元分別具有如下傳輸函數，請問其輸出值分別是多少？（ⅰ）硬極限函數（ⅱ）線性函數（ⅲ）對數-S形（logsig）函數解：（?。τ矘O限傳輸函數有

28、 1（ii）對線性傳輸函數有 1.6,,,2024/3/29,60,(ⅲ）對對數-S 形傳輸函數有,,2024/3/29,61,,P2.3 給定一個具有如下參數的兩輸入神經元： ,

29、試依據下列傳輸函數計算神經元輸出：(1）對稱硬極限傳輸函數。(2）飽和線性傳輸函數。(3）雙曲正切S形（tansig）傳輸函數。,,2024/3/29,62,解：首先計算凈輸入n : -1.8現針對每種傳輸函數計算該神經元的輸出。 -1

30、 0 -0.9468,2024/3/29,63,P2.4 現有一個單層神經網絡，具有6個輸入和2個輸出。輸出被限制為0到1 之間的連續(xù)值。敘述該網絡的結構，請說明：（1）需要多少個神經元？（2）權值矩陣的維數是多少？（3）能夠采用什么傳輸函數？（4）需要采用偏置值嗎？,2024/3/29,64,解：該問題的求解結果如下：（1）需要兩個輸出神經元，每個輸出一個。（

31、2）對應2個神經元和6個輸入，權值矩陣 應有2行6列（乘積是一個二元向量）。（3）根據前面所討論的傳輸函數性質，選用Logsig傳輸函數是最適合的。（4）題中未能給出足夠的條件以確定是否需要偏置值。,2024/3/29,65,,2.5 結束語 本章介紹了一種簡單的人工神經元，并展示了如何通過不同的連接方式將一些神經元組連接起來構造出不同的神經網絡。本章的一個主要目的是介紹一些基本表示方法。,2024/3/29,66,習題

32、E2.1 一個單輸入神經元的輸入是2.0，其輸入連接的權值是1.3 ，偏置值是-4.0 。如果它的輸出分別為如下一些值，請根據表2-1回答它分別可以采用哪些傳輸函數？（1）-1.4（2）0（3）-1.0,2024/3/29,67,E2.2 假設一個具有偏置值的單輸入神經元，現希望當輸入值小于3 時，輸出值為-1,輸入值大于等于3 時，其輸出值為+1請問：（ⅰ）需要什么類型的傳輸函數？（ⅱ）偏置值應該取多大？它與輸入連

33、接的權值相關嗎？如果相關，如何相關？（ⅲ）通過指定傳輸函數的名稱、描述偏置值和權值來概括該網絡。請畫出網絡的圖形。,2024/3/29,68,E2.3 給定一個具有如下權值矩陣和輸入向量的兩輸入神經元： 若希望其輸出值為0.5。請問是否存在偏置值和傳輸函數的某種組合可以滿足這一要求？(1)若偏置值為0 ,表2.1 中有能夠實現上述功能的傳輸函數嗎？(2)如使用線性傳輸函數，存

34、在能實現上述功能的偏置值嗎？如果有，說明偏置值是什么？,,,,,2024/3/29,69,(3)如使用對數-S 形傳輸函數，存在能實現上述功能的偏置值嗎？請說明偏置值是什么？(4)如果使用對稱硬極限傳輸函數，存在能夠實現上述功能的偏置值嗎？如果有，請說明偏置值是什么？,2024/3/29,70,E2.4 一個兩層神經網絡有4個輸入和6個輸出。輸出值為取值0到1之間的連續(xù)值。對于該網絡的結構可以說些什么？特別是：（1）每一層中需要有