神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模競(jìng)賽中的應(yīng)用

1、1第1章引言引言1.1人工神經(jīng)網(wǎng)絡(luò)的介紹人工神經(jīng)網(wǎng)絡(luò)的介紹人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralwksANN），亦稱為神經(jīng)網(wǎng)絡(luò)（NeuralwksNN）是由大量的處理單元（神經(jīng)元Neurons）廣泛互聯(lián)而成的網(wǎng)絡(luò)，是對(duì)大腦的抽象、簡(jiǎn)化和模擬，反映人腦的基本特性.人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來(lái)研究人的智能行為，模擬人腦信息處理的功能.它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等科學(xué)的一種技術(shù).人工神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)

2、單的處理單元所組成的大量并行分布的處理機(jī)，這種處理機(jī)具有儲(chǔ)存和應(yīng)用經(jīng)念知識(shí)的自然特性，它與人腦的相似之處概括兩個(gè)方面：一是通過(guò)學(xué)習(xí)過(guò)程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識(shí)；二是內(nèi)部神經(jīng)元（突觸權(quán)值）用來(lái)存儲(chǔ)獲取的知識(shí)信息.人工神經(jīng)網(wǎng)絡(luò)具有四個(gè)基本特征：（1）非線性非線性關(guān)系是自然界的普遍特性.大腦的智慧就是一種非線性現(xiàn)象.人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系.具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，

3、可以提高容錯(cuò)性和存儲(chǔ)容量.（2）非局限性一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成.一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定.通過(guò)單元之間的大量連接模擬大腦的非局限性.聯(lián)想記憶是非局限性的典型例子.（3）非常定性人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力.神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化.經(jīng)常采用迭代過(guò)程描寫(xiě)動(dòng)力系統(tǒng)的演化過(guò)程.

4、（4）非凸性一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù).例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài).非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性.人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)的熱點(diǎn)研究領(lǐng)域，涉及到電子科學(xué)技術(shù)、信息與通訊工程、計(jì)算機(jī)科學(xué)與技術(shù)、電器工程、控制科學(xué)與技術(shù)等諸多學(xué)科，其應(yīng)用領(lǐng)域包括：建模、時(shí)間序列分析、模式識(shí)別和控制等，并在不斷的拓展.本文正是居于數(shù)學(xué)建模的神經(jīng)網(wǎng)路應(yīng)用.1

5、.21.2人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史20世紀(jì)40年代中期期，在科學(xué)發(fā)展史上出現(xiàn)了模擬電子計(jì)算機(jī)和數(shù)字電子計(jì)算機(jī)兩種新的計(jì)算工具和一種描述神經(jīng)網(wǎng)絡(luò)工作的數(shù)學(xué)模型.由于電子技術(shù)(特別是大規(guī)模、超大規(guī)模集成電路)的發(fā)展，使數(shù)字電子計(jì)算機(jī)作為高科技計(jì)算工具已發(fā)展到當(dāng)今盛世地步，而人工神經(jīng)網(wǎng)絡(luò)模擬仿真生物神經(jīng)網(wǎng)絡(luò)的探索則經(jīng)歷了半個(gè)世紀(jì)的曲折發(fā)展道路.3潮.1987年6月，在美國(guó)加州舉行了第一屆NN國(guó)際會(huì)議，有一千多名學(xué)者參加，并成立

6、了國(guó)際NN學(xué)會(huì)，以后每年召開(kāi)兩次國(guó)際聯(lián)合NN大會(huì)（IJCNN），其他國(guó)際學(xué)術(shù)會(huì)議也都列有NN主題.較有影響的國(guó)際刊物有：《IEEETransactiononNeuralwk》和《Neuralwk》.美國(guó)IBM、AT&T、貝爾實(shí)驗(yàn)室、神經(jīng)計(jì)算機(jī)公司、各高校、美國(guó)政府制定了“神經(jīng)、信息、行為科學(xué)（NIBS）”計(jì)劃，投資5.5億美元作為第六代計(jì)算機(jī)的研究基礎(chǔ)；美國(guó)科學(xué)基金會(huì)、海軍研究局和空軍科學(xué)研究部三家投資一千萬(wàn)美元；美國(guó)國(guó)防部DARPA認(rèn)

7、為NN“看來(lái)是解決機(jī)器智能的唯一希望”“這是一項(xiàng)比原子彈工程更重要的計(jì)術(shù)”投資四億美元.主要研究目標(biāo)：目標(biāo)識(shí)別與追蹤、連續(xù)語(yǔ)音識(shí)別，聲納信號(hào)辨別.日本的富士通、日本電氣、日立、三菱、東芝急起直追.1988年日本提出了所謂的人類尖端科學(xué)計(jì)劃（HumanFrontierScienceProgram）即第六代計(jì)算機(jī)研究計(jì)劃.法國(guó)提出了“尤里卡”計(jì)劃，還有德國(guó)的“歐洲防御”和前蘇聯(lián)的“高技術(shù)發(fā)展”等等.我國(guó)于1989年在北京召開(kāi)了一個(gè)非正式的N

8、N會(huì)議；1990年12月在北京召開(kāi)了中國(guó)NN大會(huì)；1991年在南京成立中國(guó)NN學(xué)會(huì)，由國(guó)內(nèi)十五個(gè)一級(jí)學(xué)會(huì)共同發(fā)起“攜手探智能，聯(lián)盟攻大關(guān)”的863高技術(shù)研究計(jì)劃；自然科學(xué)基金、國(guó)防科技預(yù)研究基金也都列入了NN研究?jī)?nèi)容.1.3人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)1.3.1生物神經(jīng)元模型生物神經(jīng)元模型在人類大腦皮層中大約有100億個(gè)神經(jīng)元，60萬(wàn)億個(gè)神經(jīng)突觸以及他們的聯(lián)接體.單個(gè)神經(jīng)元處理一個(gè)事件需要秒，而在硅芯片中處理一事件只需秒.但人腦是310?9

9、10?一個(gè)非常高效的結(jié)構(gòu)，大腦中每秒鐘每個(gè)動(dòng)作的能量約為焦耳.1610?神經(jīng)元是基本的信息處理單元.生物神經(jīng)元主要由樹(shù)突、軸突和突觸組成.其結(jié)構(gòu)示意如如圖11所示.其中樹(shù)突是由細(xì)胞體向外伸出的，有不規(guī)則的表面和許多較短的分支.樹(shù)突突觸樹(shù)突軸突神經(jīng)末梢細(xì)胞膜細(xì)胞質(zhì)細(xì)胞核圖11生物神經(jīng)元模型相當(dāng)于信號(hào)的輸入端，用于接收神經(jīng)沖動(dòng).軸突由細(xì)胞體向外伸出的最長(zhǎng)的一條分支，即神經(jīng)纖維.相當(dāng)于信號(hào)的輸出電纜，其端部的許多神經(jīng)末梢為信號(hào)輸出端子，用于傳