泛朦第三系—神經(jīng)系(neural network)

1、泛朦第三系—神經(jīng)系(Neural Network),報(bào)告人: 張士行教授Prof. Dr. Albert Chang光電博士. 企管碩士. 電子碩士. 機(jī)械碩士PICO 7 Tools FounderEditor of CJME (cited in EI)Graduate School of Business & Management,VITCEO of PID Lab.Cellular Phone: 886-9

2、39924099Email: prof.chang@msa.hinet.net,類(lèi)神經(jīng)網(wǎng)路導(dǎo)論,類(lèi)神經(jīng)網(wǎng)路（artificial neural network）或譯為人工神經(jīng)網(wǎng)路： 模仿生物神經(jīng)網(wǎng)路的資訊處理系統(tǒng)。,精確定義,一種計(jì)算系統(tǒng)：硬體、軟體。大量簡(jiǎn)單的相連人工神經(jīng)元：模仿生物神經(jīng)網(wǎng)路的能力。取得資訊：外界環(huán)境、人工神經(jīng)元。輸出結(jié)果：外界環(huán)境其他人工神經(jīng)元。,背景（1）,1957年（電腦發(fā)展的初期）：第一種類(lèi)神經(jīng)網(wǎng)路

3、模式— 感知機(jī)（ Perceptron ）提出。1960年代中期沒(méi)落。,沒(méi)落因素,1.本身理論無(wú)法突破（ EX：XOR問(wèn)題）。2.數(shù)位電腦、人工智慧的吸引。3.當(dāng)時(shí)相關(guān)技術(shù)無(wú)法實(shí)現(xiàn)「神經(jīng)電腦」。,背景（2）,80年代中期：類(lèi)神經(jīng)網(wǎng)路的研究復(fù)興，而在短短數(shù)年之內(nèi)蔚為風(fēng)潮。原因：如下4點(diǎn)。,復(fù)興原因（1）,類(lèi)神經(jīng)網(wǎng)路在理論的建立與模式的開(kāi)發(fā)上有了突破，最明顯的突破包括： 霍普菲爾網(wǎng)路（ Hopfield neural

4、 network， HNN） 倒傳遞網(wǎng)路（Back-propagation network）。,復(fù)興原因（2）,解決電腦科學(xué)與人工智慧的難題，（EX：樣本識(shí)別、機(jī)器學(xué)習(xí)）。電子、光學(xué)等技術(shù)進(jìn)展：提供實(shí)現(xiàn)「神經(jīng)電腦」可能性（EX：基於VLSI的神經(jīng)電腦與光神經(jīng)電腦的誕生）。,復(fù)興原因（3）,從現(xiàn)代生物學(xué)、認(rèn)知學(xué)、心裡學(xué)對(duì)生物神經(jīng)網(wǎng)路的瞭解，提供了發(fā)展新的類(lèi)神經(jīng)網(wǎng)路模式的啟示。,生物神經(jīng)元模型,生物神經(jīng)網(wǎng)路： 由巨量的神

5、經(jīng)細(xì)胞，或稱(chēng)神經(jīng)元所組成，神經(jīng)細(xì)胞的形狀和一般的細(xì)胞有很大的不同。,神經(jīng)細(xì)胞,神經(jīng)核：神經(jīng)細(xì)胞呈核狀的處理機(jī)構(gòu)。軸索（神經(jīng)軸）：神經(jīng)細(xì)胞成軸索狀的輸送機(jī)構(gòu)。樹(shù)突（神經(jīng)樹(shù)）：神經(jīng)細(xì)胞成樹(shù)枝狀的輸出入機(jī)構(gòu)。突觸（神經(jīng)節(jié)）：神經(jīng)細(xì)胞神經(jīng)樹(shù)上乘點(diǎn)狀的連結(jié)機(jī)構(gòu)。,人工神經(jīng)元模型（1）,類(lèi)神經(jīng)網(wǎng)路：由許多的人工神經(jīng)細(xì)胞（artificial neuron）所組成。又稱(chēng)類(lèi)神經(jīng)元、人工神經(jīng)元、處理單元（ processing element）。

6、每一個(gè)處理單元的輸出以扇形送出，成為其它許多處理單元的輸入。,人工神經(jīng)元模型（2）,其中Yj = 模仿生物神經(jīng)元模型的輸出訊號(hào)。,處理單元輸出值與輸入值的關(guān)係式：一般用輸入值的加權(quán)乘積和之函數(shù)來(lái)表示,人工神經(jīng)元模型（3）,f ＝模仿生物神經(jīng)元模型的轉(zhuǎn)移函數(shù)（transfer function）。Wij ＝模仿生物神經(jīng)元模型的神經(jīng)鏈結(jié)強(qiáng)度，又稱(chēng)鏈結(jié)加權(quán)值。,人工神經(jīng)元模型（4）,Xi ＝模仿生物神經(jīng)元模型的輸入訊號(hào)（input

7、signal）。θ＝模仿生物神經(jīng)元模型的閥值（threshold value）。,人工神經(jīng)元模型（5）,鏈結(jié)（connection） ：介於處理單元間的訊號(hào)傳遞路徑。每一個(gè)鏈結(jié)上有一個(gè)數(shù)值的加權(quán)值Wij，用以表示第i處理單元對(duì)第j處理單元之影響程度。,人工神經(jīng)元模型（6）,一個(gè)類(lèi)神經(jīng)網(wǎng)路:由許多個(gè)人工神經(jīng)元所組成，並且可以組成不同的 網(wǎng)路模式（network model） 或 網(wǎng)路典範(fàn)（netwo

8、rkparadigm）。,類(lèi)神經(jīng)網(wǎng)路模型(1),倒傳遞網(wǎng)路（back- propagation network，BPN ）:應(yīng)用最普遍。BPN:包含許多層(含若干個(gè)處單元),類(lèi)神經(jīng)網(wǎng)路模型(2),輸入層單元:輸入訊息。輸出層單元：輸出訊息。隱藏層單元：提供類(lèi)神經(jīng)網(wǎng)路表現(xiàn)處理單元間的交互作用與問(wèn)題的內(nèi)在結(jié)構(gòu)的能力。,網(wǎng)路分類(lèi)（1）,目前著名類(lèi)神經(jīng)網(wǎng)路不下數(shù)十種，主要分為四類(lèi)1.監(jiān)督式學(xué)習(xí)網(wǎng)路：從問(wèn)題領(lǐng)域中取得訓(xùn)練範(fàn)例（有輸入

9、變數(shù)值，也有輸出變數(shù)），並從中學(xué)習(xí)輸入變數(shù)與輸出變數(shù)內(nèi)在對(duì)映規(guī)則，以應(yīng)用於新的案例（只有輸入變數(shù)值，而需推論輸出變數(shù)值的應(yīng)用）如BP。,網(wǎng)路分類(lèi)（2）,2.無(wú)監(jiān)督式學(xué)習(xí)網(wǎng)路：從問(wèn)題領(lǐng)域中取得訓(xùn)練範(fàn)例（只有輸入變數(shù)值），並從中學(xué)習(xí)範(fàn)例的內(nèi)在聚類(lèi)規(guī)則，以應(yīng)用於新的案例。3.聯(lián)想式學(xué)習(xí)網(wǎng)路：從問(wèn)題領(lǐng)域中取得訓(xùn)練範(fàn)例（狀態(tài)變數(shù)值），並從中學(xué)習(xí)範(fàn)例的內(nèi)在記憶規(guī)則，以應(yīng)用於新的案例，如霍普菲爾網(wǎng)路。,,網(wǎng)路分類(lèi)（2）,4.最適化應(yīng)用網(wǎng)路：對(duì)一問(wèn)題

10、決定其設(shè)計(jì)變數(shù)值，使其在滿(mǎn)足設(shè)計(jì)變數(shù)下，使設(shè)計(jì)目標(biāo)達(dá)最佳狀態(tài)的應(yīng)用，如退火神經(jīng)網(wǎng)路。,類(lèi)神經(jīng)網(wǎng)路運(yùn)作（1）,類(lèi)神經(jīng)網(wǎng)路的運(yùn)作過(guò)程分成兩個(gè)階段：學(xué)習(xí)過(guò)程：從範(fàn)例學(xué)習(xí)，以調(diào)整網(wǎng)路連節(jié)加權(quán)值的過(guò)程 ?；叵脒^(guò)程：網(wǎng)路依回想演算法，以輸入資料決定網(wǎng)路輸出資料的過(guò)程。,類(lèi)神經(jīng)網(wǎng)路運(yùn)作（2）,1.訓(xùn)練範(fàn)例：藉此調(diào)整網(wǎng)路連結(jié)加權(quán)值。訓(xùn)練範(fàn)例型式依所使用的網(wǎng)路模式之不同而異。2.測(cè)試範(fàn)例：用以評(píng)估網(wǎng)路學(xué)習(xí)成果所使用的範(fàn)例。（1.2）差異：前者只

11、用回想演算法得到推論輸出值，並與目標(biāo)輸出值比較，以評(píng)估網(wǎng)路學(xué)習(xí)精度。,類(lèi)神經(jīng)網(wǎng)路運(yùn)作（3）,3. 待推案例：網(wǎng)路學(xué)習(xí)過(guò)程完後，可用網(wǎng)路推論待推案例的結(jié)果。（2.3）差異：前者沒(méi)有目標(biāo)輸出變數(shù)向量,優(yōu)點(diǎn),高速計(jì)算能力高容記憶能力學(xué)習(xí)能力容錯(cuò)能力,應(yīng)用,監(jiān)督式學(xué)習(xí)應(yīng)用：分類(lèi)、預(yù)測(cè)。非監(jiān)督式學(xué)習(xí)應(yīng)用：聚類(lèi)。聯(lián)想式學(xué)習(xí)應(yīng)用：雜訊過(guò)濾、資料擷取。最佳化問(wèn)題應(yīng)用：設(shè)計(jì)、排程。,基本架構(gòu)（1）,處理單元：類(lèi)神經(jīng)網(wǎng)路基本單位作用可用三

12、個(gè)函數(shù)來(lái)說(shuō)明： 1）集成函數(shù) 2）作用函數(shù) 3）轉(zhuǎn)換函數(shù),基本架構(gòu)（2）,層：若干個(gè)具相同作用的處理單元集合成。層的三種作用： 1）正規(guī)化輸出 2）競(jìng)爭(zhēng)化輸出 3）競(jìng)爭(zhēng)化學(xué)習(xí),基本架構(gòu)（3）,網(wǎng)路：若干個(gè)具不同作用的層集合成網(wǎng)路網(wǎng)路兩種作用： 1）學(xué)習(xí)過(guò)程 2）回想過(guò)程,,C：實(shí)數(shù)型常數(shù)。單調(diào) ( monotonic ) 遞增 、平滑且可微分的函數(shù)。採(cǎi)用：倒傳遞類(lèi)神

13、經(jīng)網(wǎng)路 、連續(xù)型霍普菲爾網(wǎng)路，都是此種活化函數(shù)。,倒傳遞網(wǎng)路,倒傳遞類(lèi)神網(wǎng)路模式是目前類(lèi)神網(wǎng)路學(xué)習(xí)模式中最具代表性，應(yīng)用最普遍的模式。倒傳遞類(lèi)神經(jīng)網(wǎng)路屬於監(jiān)督式學(xué)習(xí)網(wǎng)路，因而適合診斷、預(yù)測(cè)等應(yīng)用。,,,,,,,,,??????,?????,????,,,,,,輸出向量,輸入向量,輸出層：表示輸 出變數(shù) 隱藏層：表示輸 入處理 單元間 的交互 影響輸

14、出層：表示輸 入變數(shù),範(fàn)例,文章： Integration of Gray Prediction and Fuzzy Model for Improving Back-propagation Learning Algorithm R.J.Kuo , C.Y.Chiu , and C.C.Hsieh Fuzzy 2000,題目簡(jiǎn)述,基本觀念：利用灰預(yù)測(cè)和模糊理

15、論來(lái)改善BP的訓(xùn)練速度。模擬：XOR範(fàn)例設(shè)定：初始學(xué)習(xí)率：0.3，學(xué)習(xí)次數(shù)1000次。由MSE（mean square error）來(lái)判定收斂效。,解法（灰色）,建立GM（1,1）模型的灰微分方程式目的：預(yù)測(cè)error（PE） and change of error(PCE) 。用PE和PCE根據(jù)FUZZY規(guī)則，調(diào)整訓(xùn)練參數(shù) 。,解法（類(lèi)神經(jīng)）,各層間初始權(quán)重：亂數(shù)。開(kāi)始時(shí)訓(xùn)練誤差大：給大學(xué)習(xí)率使系統(tǒng)收斂快。當(dāng)訓(xùn)練接近最佳化