用平常語言介紹神經(jīng)網(wǎng)絡(luò)

1、用平常語言介紹神經(jīng)網(wǎng)絡(luò)用平常語言介紹神經(jīng)網(wǎng)絡(luò)(NeuralwksinPlainEnglish)因?yàn)槲覀儧]有很好了解大腦，我們經(jīng)常試圖用最新的技術(shù)作為一種模型來解釋它。在我童年的時(shí)候，我們都堅(jiān)信大腦是一部電話交換機(jī)。(否則它還能是什么呢？)我當(dāng)時(shí)還看到英國(guó)著名神經(jīng)學(xué)家謝林頓把大腦的工作挺有趣地比作一部電報(bào)機(jī)。更早些時(shí)候，弗羅伊德經(jīng)常把大腦比作一部水力發(fā)電機(jī)，而萊布尼茨則把它比作了一臺(tái)磨粉機(jī)。我還聽人說，古希臘人把大腦功能想象為一付彈弓。顯

2、然，目前要來比喻大腦的話，那只可能是一臺(tái)數(shù)字電子計(jì)算機(jī)了。－JohnR.Searle[注1]1]1.1.神經(jīng)網(wǎng)絡(luò)介紹（神經(jīng)網(wǎng)絡(luò)介紹（IntroductiontoNeuralwks）曾有很長(zhǎng)一個(gè)時(shí)期，人工神經(jīng)網(wǎng)絡(luò)對(duì)我來說是完全神秘的東西。當(dāng)然，有關(guān)它們我在文獻(xiàn)中已經(jīng)讀過了，我也能描述它們的結(jié)構(gòu)和工作機(jī)理，但我始終沒有能“啊哈！”一聲，如同你頭腦中一個(gè)難于理解的概念有幸突然得到理解時(shí)的感覺那樣。我的頭上好象一直有個(gè)榔頭在敲著，或者像電影An

3、imalHouse(中文片名為“動(dòng)物屋”)中那個(gè)在痛苦地尖叫“先生，謝謝您，再給我一個(gè)啊！”的可憐家伙那樣。我無法把數(shù)學(xué)概念轉(zhuǎn)換成實(shí)際的應(yīng)用。有時(shí)我甚至想把我讀過的所有神經(jīng)網(wǎng)絡(luò)的書的作者都抓起來，把他們縛到一棵樹上，大聲地向他們吼叫：“不要再給我數(shù)學(xué)了，快給我一點(diǎn)實(shí)際實(shí)際東西吧！”。但無需說，這是永遠(yuǎn)不可能發(fā)生的事情。我不得不自己來填補(bǔ)這個(gè)空隙...由此我做了在那種條件下唯一可以做的事情。我開始干起來了。這樣幾個(gè)星期后，在一個(gè)美麗的日子

4、里，當(dāng)時(shí)我在蘇格蘭海邊度假，當(dāng)我越過一層薄霧凝視著狹長(zhǎng)的海灣時(shí)，我的頭腦突然受到一個(gè)沖擊。一下子悟到了人工神經(jīng)網(wǎng)絡(luò)是怎樣工作的。我得到“啊哈！”的感覺了！但我此時(shí)身邊只有一個(gè)帳篷和一個(gè)睡袋，還有半盒子的脆玉米片，沒有電腦可以讓我迅速寫出一些代碼來證實(shí)我的直覺。Arghhhhh！這時(shí)我才想到我應(yīng)該買一臺(tái)手提電腦。不管怎樣，幾天后我回到家了，我立刻讓我的手指在鍵盤上飛舞起來。幾個(gè)小時(shí)后我的第一人工神經(jīng)網(wǎng)絡(luò)程序終于編成和運(yùn)行了，并且工作得挺好

5、！自然，代碼寫的有點(diǎn)亂，需要進(jìn)行整理，但它確實(shí)已能工作了，并且，更重要的是，我還知道它為什么能工作！我可以告訴你，那天我是一位非常得意的人。我希望本書傳遞給你的就是這種“啊哈！”感覺。當(dāng)我們學(xué)完遺傳算法時(shí)，你可能已嘗到了一點(diǎn)感覺，但你希望這種感覺是美妙的話，那就要等把神經(jīng)網(wǎng)絡(luò)部分整個(gè)學(xué)完。2.2.生物學(xué)的神經(jīng)網(wǎng)絡(luò)生物學(xué)的神經(jīng)網(wǎng)絡(luò)大腦大腦(ABiologicalNeuralwk–TheBrain)....你的大腦是一塊灰色的、像奶凍一樣的

6、東西。它并不像電腦中的CPU那樣，利用單個(gè)的處理單元來進(jìn)行工作。如果你有一具新鮮地保存到福爾馬林中的尸體，用一把鋸子小心地將它的頭骨鋸開，搬掉頭蓋骨后，你就能看到熟悉的腦組織皺紋。大腦的外層象一個(gè)大核桃那樣，全部都是起皺的[圖0左]，這一層組織就稱皮層(Ctex)。如果你再小心地用手指把整個(gè)大腦從頭顱中端出來，再去拿一把外科醫(yī)生用的手術(shù)刀，將大腦切成片，那么你將看到大腦有兩層[圖0右]:灰色的外層(這就是“灰質(zhì)”一詞的來源，但沒有經(jīng)過福

7、爾馬林固定的新鮮大腦實(shí)際是粉紅色的。)和白色的內(nèi)層。灰色層只有幾毫米厚，其中緊密地壓縮著幾十億個(gè)被稱作neuron（神經(jīng)細(xì)胞、神經(jīng)元）的微小細(xì)胞。白色層在皮層灰質(zhì)的下面，占據(jù)了皮層的大部分空間，是由神經(jīng)細(xì)胞相互之間的無數(shù)連接組成。皮層象核桃一樣起皺，這可以把一個(gè)很大的表面區(qū)域塞進(jìn)到一個(gè)較小的空間里。這與光滑的皮層相比能容納更多的神經(jīng)細(xì)胞。人的大腦大約含有1OG（即100億）個(gè)這樣的微小處理單元一只螞蟻的大腦大約也有250OOO個(gè)。老鼠1

8、00000000（=10^8）人類10000000000（=10^10）大象100000000000（=10^11）圖1神經(jīng)細(xì)胞的結(jié)構(gòu)神經(jīng)細(xì)胞的結(jié)構(gòu)在人的生命的最初9個(gè)月內(nèi)，這些細(xì)胞以每分鐘25000個(gè)的驚人速度被創(chuàng)建出來。神經(jīng)細(xì)胞和人身上任何其他類型細(xì)胞十分不同，每個(gè)神經(jīng)細(xì)胞都長(zhǎng)著一根像電線一樣的稱為軸突（axon）的東西，它的長(zhǎng)度有時(shí)伸展到幾厘米［譯注］，用來將信號(hào)傳遞給其他的神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的結(jié)構(gòu)如圖1所示。它由一個(gè)細(xì)胞體(so

9、ma)、一些樹突(dendrite)、和一根可以很長(zhǎng)的軸突組成。神經(jīng)細(xì)胞體是一顆星狀球形物，里面有一個(gè)核(nucleus)。樹突由細(xì)胞體向各個(gè)方向長(zhǎng)出，本身可有分支，是用來接收信號(hào)的。軸突也有許多的分支。軸突通過分支的末梢(terminal)和其他神經(jīng)細(xì)胞的樹突相接觸形成所謂的突觸（Synapse，圖中未畫出），一個(gè)神經(jīng)細(xì)胞通過軸突和突觸把產(chǎn)生的信號(hào)送到其他的神經(jīng)細(xì)胞。每個(gè)神經(jīng)細(xì)胞通過它的樹突和大約10000個(gè)其他的神經(jīng)細(xì)胞相連。這就使