2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理

1、人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理1人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景自古以來(lái)，關(guān)于人類(lèi)智能本源的奧秘，一直吸引著無(wú)數(shù)哲學(xué)家和自然科學(xué)家的研究熱情。生物學(xué)家、神經(jīng)學(xué)家經(jīng)過(guò)長(zhǎng)期不懈的努力，通過(guò)對(duì)人腦的觀察和認(rèn)識(shí)，認(rèn)為人腦的智能活動(dòng)離不開(kāi)腦的物質(zhì)基礎(chǔ)，包括它的實(shí)體結(jié)構(gòu)和其中所發(fā)生的各種生物、化學(xué)、電學(xué)作用，并因此建立了神經(jīng)元網(wǎng)絡(luò)理論和神經(jīng)系統(tǒng)結(jié)構(gòu)理論，而神經(jīng)元理論又是此后神經(jīng)傳導(dǎo)理論和大腦功能學(xué)說(shuō)的基礎(chǔ)。在這些理

2、論基礎(chǔ)之上，科學(xué)家們認(rèn)為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類(lèi)智能活動(dòng)和認(rèn)識(shí)現(xiàn)象。另一方面，19世紀(jì)之前，無(wú)論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學(xué)，還是以牛頓力學(xué)為代表的經(jīng)典物理學(xué)，從總體上說(shuō)，這些經(jīng)典科學(xué)都是線性科學(xué)。然而，客觀世界是如此的紛繁復(fù)雜，非線性情況隨處可見(jiàn)，人腦神經(jīng)系統(tǒng)更是如此。復(fù)雜性和非線性是連接在一起的，因此，對(duì)非線性科學(xué)的研究也是我們認(rèn)識(shí)復(fù)雜系統(tǒng)的關(guān)鍵。為了更好地認(rèn)識(shí)客觀世界，我們必須對(duì)非線性科學(xué)進(jìn)行研究

3、。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運(yùn)而生了。所以，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)立不是偶然的，而是20世紀(jì)初科學(xué)技術(shù)充分發(fā)展的產(chǎn)物。2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究始于40年代初。半個(gè)世紀(jì)以來(lái)，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠(yuǎn)為曲折的道路。1943年，心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts提出了M—P模型，這是第一個(gè)用數(shù)理語(yǔ)言描述腦的信息處理過(guò)程的模型，雖然神經(jīng)

4、元的功能比較弱，但它為以后的研究工作提供了依據(jù)。1949年，心理學(xué)家D.O.Hebb提出突觸聯(lián)系可變的假設(shè)，根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)律為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。1957年，計(jì)算機(jī)科學(xué)家Rosenblatt提出了著名的感知機(jī)模型，它的模型包含了現(xiàn)代計(jì)算機(jī)的一些原理，是第一個(gè)完整的人工神經(jīng)網(wǎng)絡(luò)，第一次把神經(jīng)網(wǎng)絡(luò)研究付諸工程實(shí)現(xiàn)。由于可應(yīng)用于模式識(shí)別，聯(lián)想記憶等方面，當(dāng)時(shí)有上百家實(shí)驗(yàn)室投入此項(xiàng)研究，美國(guó)軍方甚至認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原

5、子彈工程”更重要而給予巨額資助，并在聲納信號(hào)識(shí)別等領(lǐng)域取得一定成績(jī)。1960年，B.Windrow和E.Hoff提出了自適應(yīng)線性單元，它可用于自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。至此，人工神經(jīng)網(wǎng)絡(luò)的研究工作進(jìn)入了第一個(gè)高潮。1969年，美國(guó)著名人工智能學(xué)者M(jìn).Minsky和S.Papert編寫(xiě)了影響很大的Perceptron一書(shū)，從理論上證明單層感知機(jī)的能力有限，諸如不能解決異或問(wèn)題，而且他們推測(cè)多層網(wǎng)絡(luò)的感知機(jī)能力也不過(guò)如此，他們的分析恰似一

6、瓢冷水，很多學(xué)者感到前途渺茫而紛紛改行，原先參與研究的實(shí)驗(yàn)室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了一個(gè)緩慢發(fā)展的蕭條期。這期間，芬蘭學(xué)者T.Kohonen提出了自組織映射理論，反映了大腦神經(jīng)細(xì)胞的自組織特性、記憶方式以及神經(jīng)細(xì)胞興奮刺激的規(guī)律；美國(guó)學(xué)者S.A.Grossberg的自適應(yīng)共振理論（ART）；日本學(xué)者K.Fukushima提出了認(rèn)知機(jī)模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡(luò)有關(guān)數(shù)學(xué)理論的研究等，這些研究成果對(duì)以

7、后的神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重要影響。美國(guó)生物物理學(xué)家J.J.Hopfield于1982年、1984年在美國(guó)科學(xué)院院刊發(fā)表的兩篇文章，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究，引起了研究神經(jīng)網(wǎng)絡(luò)的又一次熱潮。1982年，他提出了一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型——hopfield網(wǎng)絡(luò)模型。他在這種網(wǎng)絡(luò)模型的研究中，首次引入了網(wǎng)絡(luò)能量函數(shù)的概念，并給出了網(wǎng)絡(luò)穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡(luò)模型實(shí)現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡(luò)的工程實(shí)現(xiàn)指明了方向，他的研究成果開(kāi)拓

8、了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶的優(yōu)化計(jì)算的新途徑，并為神經(jīng)計(jì)算機(jī)研究奠定了基礎(chǔ)。1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡(luò)中，提出了Boltzmann機(jī)網(wǎng)絡(luò)模型，BM網(wǎng)絡(luò)算法為神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算提供了一個(gè)有效的方法。1986年，D.E.Rumelhart和J.LMcclell提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。1987年美國(guó)神經(jīng)計(jì)算機(jī)專家R.Hecht—Nielsen提出了對(duì)向傳播神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有分類(lèi)靈

9、活，算法簡(jiǎn)練的優(yōu)點(diǎn)，可用于模式分類(lèi)、函數(shù)逼近、統(tǒng)計(jì)分析和數(shù)據(jù)壓縮等領(lǐng)域。1988年L.Ochua等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型，它在視覺(jué)初級(jí)加工上得到了廣泛應(yīng)用。為適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，并決定定期召開(kāi)國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)網(wǎng)絡(luò)的算法和性能，如神經(jīng)計(jì)算、進(jìn)化計(jì)算、穩(wěn)定性、收斂性、計(jì)算復(fù)雜性、容錯(cuò)性、魯棒性等，開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論。由于神經(jīng)網(wǎng)絡(luò)的非線性，因此非線性問(wèn)題的研究是神經(jīng)網(wǎng)絡(luò)理論發(fā)展的一個(gè)最大動(dòng)力。特別是人

10、們發(fā)現(xiàn)，腦中存在著混沌現(xiàn)象以來(lái)，用混沌動(dòng)力學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)的研究或用神經(jīng)網(wǎng)絡(luò)產(chǎn)生混沌成為擺在人們面前的一個(gè)新課題，因?yàn)閺纳肀举|(zhì)角度出發(fā)是研究神經(jīng)網(wǎng)絡(luò)的根本手段。（2）神經(jīng)網(wǎng)絡(luò)軟件模擬，硬件實(shí)現(xiàn)的研究以及神經(jīng)網(wǎng)絡(luò)在各個(gè)科學(xué)技術(shù)領(lǐng)域應(yīng)用的研究。由于人工神經(jīng)網(wǎng)絡(luò)可以用傳統(tǒng)計(jì)算機(jī)模擬，也可以用集成電路芯片組成神經(jīng)計(jì)算機(jī)，甚至還可以用光學(xué)的、生物芯片的方式實(shí)現(xiàn)，因此研制純軟件模擬，虛擬模擬和全硬件實(shí)現(xiàn)的電子神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)潛力巨大。如何使神經(jīng)網(wǎng)絡(luò)計(jì)

11、算機(jī)與傳統(tǒng)的計(jì)算機(jī)和人工智能技術(shù)相結(jié)合也是前沿課題；如何使神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的功能向智能化發(fā)展，研制與人腦功能相似的智能計(jì)算機(jī)，如光學(xué)神經(jīng)計(jì)算機(jī)，分子神經(jīng)計(jì)算機(jī)，將具有十分誘人的前景。4哲理哲理（1）人工神經(jīng)網(wǎng)絡(luò)打開(kāi)了認(rèn)識(shí)論的新領(lǐng)域認(rèn)識(shí)與腦的問(wèn)題，長(zhǎng)期以來(lái)一直受到人們的關(guān)注，因?yàn)樗粌H是有關(guān)人的心理、意識(shí)的心理學(xué)問(wèn)題，也是有關(guān)人的思維活動(dòng)機(jī)制的腦科學(xué)與思維科學(xué)問(wèn)題，而且直接關(guān)系到對(duì)物質(zhì)與意識(shí)的哲學(xué)基本問(wèn)題的回答。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展使我們能夠

12、更進(jìn)一步地既唯物又辯證地理解認(rèn)識(shí)與腦的關(guān)系，打開(kāi)認(rèn)識(shí)論的新領(lǐng)域。人腦是一個(gè)復(fù)雜的并行系統(tǒng)，它具有“認(rèn)知、意識(shí)、情感”等高級(jí)腦功能，用人工進(jìn)行模擬，有利于加深對(duì)思維及智能的認(rèn)識(shí)，已對(duì)認(rèn)知和智力的本質(zhì)的研究產(chǎn)生了極大的推動(dòng)作用。在研究大腦的整體功能和復(fù)雜性方面，人工神經(jīng)網(wǎng)絡(luò)給人們帶來(lái)了新的啟迪。由于人腦中存在混沌現(xiàn)象，混沌可用來(lái)理解腦中某些不規(guī)則的活動(dòng)，從而混沌動(dòng)力學(xué)模型能用作人對(duì)外部世界建模的工具，可用來(lái)描述人腦的信息處理過(guò)程?；煦绾椭悄?/p>

13、是有關(guān)的，神經(jīng)網(wǎng)絡(luò)中引入混沌學(xué)思想有助于提示人類(lèi)形象思維等方面的奧秘。人工神經(jīng)網(wǎng)絡(luò)之所以再度興起，關(guān)鍵在于它反映了事物的非線性，抓住了客觀世界的本質(zhì)，而且它在一定程度上正面回答了智能系統(tǒng)如何從環(huán)境中自主學(xué)習(xí)這一最關(guān)鍵的問(wèn)題，從認(rèn)知的角度講，所謂學(xué)習(xí)，就是對(duì)未知現(xiàn)象或規(guī)律的發(fā)現(xiàn)和歸納。由于神經(jīng)網(wǎng)絡(luò)具有高度的并行性，高度的非線性全局作用，良好的容錯(cuò)性與聯(lián)想記憶功能以及十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能，而使得它成為揭示智能和了解人腦工作方式的合理途

14、徑。但是，由于認(rèn)知問(wèn)題的復(fù)雜性，目前，我們對(duì)于腦神經(jīng)網(wǎng)的運(yùn)行和神經(jīng)細(xì)胞的內(nèi)部處理機(jī)制，如信息在人腦是如何傳輸、存貯、加工的？記憶、聯(lián)想、判斷是如何形成的？大腦是否存在一個(gè)操作系統(tǒng)？還沒(méi)有太多的認(rèn)識(shí)，因此要制造人工神經(jīng)網(wǎng)絡(luò)來(lái)模仿人腦各方面的功能，還有待于人們對(duì)大腦信息處理機(jī)理認(rèn)識(shí)的深化。（2）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的推動(dòng)力來(lái)源于實(shí)踐、理論和問(wèn)題的相互作用隨著人們社會(huì)實(shí)踐范圍的不斷擴(kuò)大，社會(huì)實(shí)踐層次的不斷深入，人們所接觸到的自然現(xiàn)象也越來(lái)越豐富多

15、彩、紛繁復(fù)雜，這就促使人們用不同的原因加以解釋不同種類(lèi)的自然現(xiàn)象，當(dāng)不同種類(lèi)的自然現(xiàn)象可以用同樣的原因加以解釋，這樣就出現(xiàn)了不同學(xué)科的相互交叉、綜合，人工神經(jīng)網(wǎng)絡(luò)就這樣產(chǎn)生了。在開(kāi)始階段，由于這些理論化的網(wǎng)絡(luò)模型比較簡(jiǎn)單，還存在許多問(wèn)題，而且這些模型幾乎沒(méi)有得到實(shí)踐的檢驗(yàn)，因而神經(jīng)網(wǎng)絡(luò)的發(fā)展比較緩慢。隨著理論研究的深入，問(wèn)題逐漸地解決特別是工程上得到實(shí)現(xiàn)以后，如聲納識(shí)別成功，才迎來(lái)了神經(jīng)網(wǎng)絡(luò)的第一個(gè)發(fā)展高潮。可Minisky認(rèn)為感知器不

16、能解決異或問(wèn)題，多層感知器也不過(guò)如此，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低谷，這主要是因?yàn)榉蔷€性問(wèn)題沒(méi)得到解決。隨著理論的不斷豐富，實(shí)踐的不斷深入，現(xiàn)在已證明Minisky的悲觀論調(diào)是錯(cuò)誤的。今天，高度發(fā)達(dá)的科學(xué)技術(shù)逐漸揭示了非線性問(wèn)題是客觀世界的本質(zhì)。問(wèn)題、理論、實(shí)踐的相互作用又迎來(lái)了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。目前人工神經(jīng)網(wǎng)絡(luò)的問(wèn)題是智能水平不高，還有其它理論和實(shí)現(xiàn)方面的問(wèn)題，這就迫使人們不斷地進(jìn)行理論研究，不斷實(shí)踐，促使神經(jīng)網(wǎng)絡(luò)不斷向前發(fā)展?？傊?/p>

17、，先前的原因遇到了解釋不同的新現(xiàn)象，促使人們提出更加普遍和精確的原因來(lái)解釋。理論是基礎(chǔ)，實(shí)踐是動(dòng)力，但單純的理論和實(shí)踐的作用還不能推動(dòng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，還必須有問(wèn)題提出，才能吸引科學(xué)家進(jìn)入研究的特定范圍，引導(dǎo)科學(xué)家從事相關(guān)研究，從而逼近科學(xué)發(fā)現(xiàn)，而后實(shí)踐又提出新問(wèn)題，新問(wèn)題又引發(fā)新的思考，促使科學(xué)家不斷思考，不斷完善理論。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展無(wú)不體現(xiàn)著問(wèn)題、理論和實(shí)踐的辯證統(tǒng)一關(guān)系。（3）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的另一推動(dòng)力來(lái)源于相關(guān)學(xué)科的貢獻(xiàn)