用平常語言介紹神經(jīng)網(wǎng)絡(luò)

1、用平常語言介紹神經(jīng)網(wǎng)絡(luò)用平常語言介紹神經(jīng)網(wǎng)絡(luò)(NeuralwksinPlainEnglish)因為我們沒有很好了解大腦，我們經(jīng)常試圖用最新的技術(shù)作為一種模型來解釋它。在我童年的時候，我們都堅信大腦是一部電話交換機(jī)。(否則它還能是什么呢？)我當(dāng)時還看到英國著名神經(jīng)學(xué)家謝林頓把大腦的工作挺有趣地比作一部電報機(jī)。更早些時候，弗羅伊德經(jīng)常把大腦比作一部水力發(fā)電機(jī)，而萊布尼茨則把它比作了一臺磨粉機(jī)。我還聽人說，古希臘人把大腦功能想象為一付彈弓。顯

2、然，目前要來比喻大腦的話，那只可能是一臺數(shù)字電子計算機(jī)了。－JohnR.Searle[注1]1]1.1.神經(jīng)網(wǎng)絡(luò)介紹（神經(jīng)網(wǎng)絡(luò)介紹（IntroductiontoNeuralwks）曾有很長一個時期，人工神經(jīng)網(wǎng)絡(luò)對我來說是完全神秘的東西。當(dāng)然，有關(guān)它們我在文獻(xiàn)中已經(jīng)讀過了，我也能描述它們的結(jié)構(gòu)和工作機(jī)理，但我始終沒有能“啊哈！”一聲，如同你頭腦中一個難于理解的概念有幸突然得到理解時的感覺那樣。我的頭上好象一直有個榔頭在敲著，或者像電影An

3、imalHouse(中文片名為“動物屋”)中那個在痛苦地尖叫“先生，謝謝您，再給我一個??！”的可憐家伙那樣。我無法把數(shù)學(xué)概念轉(zhuǎn)換成實際的應(yīng)用。有時我甚至想把我讀過的所有神經(jīng)網(wǎng)絡(luò)的書的作者都抓起來，把他們縛到一棵樹上，大聲地向他們吼叫：“不要再給我數(shù)學(xué)了，快給我一點實際實際東西吧！”。但無需說，這是永遠(yuǎn)不可能發(fā)生的事情。我不得不自己來填補(bǔ)這個空隙...由此我做了在那種條件下唯一可以做的事情。我開始干起來了。這樣幾個星期后，在一個美麗的日子

4、里，當(dāng)時我在蘇格蘭海邊度假，當(dāng)我越過一層薄霧凝視著狹長的海灣時，我的頭腦突然受到一個沖擊。一下子悟到了人工神經(jīng)網(wǎng)絡(luò)是怎樣工作的。我得到“啊哈！”的感覺了！但我此時身邊只有一個帳篷和一個睡袋，還有半盒子的脆玉米片，沒有電腦可以讓我迅速寫出一些代碼來證實我的直覺。Arghhhhh！這時我才想到我應(yīng)該買一臺手提電腦。不管怎樣，幾天后我回到家了，我立刻讓我的手指在鍵盤上飛舞起來。幾個小時后我的第一人工神經(jīng)網(wǎng)絡(luò)程序終于編成和運行了，并且工作得挺好

5、！自然，代碼寫的有點亂，需要進(jìn)行整理，但它確實已能工作了，并且，更重要的是，我還知道它為什么能工作！我可以告訴你，那天我是一位非常得意的人。我希望本書傳遞給你的就是這種“啊哈！”感覺。當(dāng)我們學(xué)完遺傳算法時，你可能已嘗到了一點感覺，但你希望這種感覺是美妙的話，那就要等把神經(jīng)網(wǎng)絡(luò)部分整個學(xué)完。2.2.生物學(xué)的神經(jīng)網(wǎng)絡(luò)生物學(xué)的神經(jīng)網(wǎng)絡(luò)大腦大腦(ABiologicalNeuralwk–TheBrain)....你的大腦是一塊灰色的、像奶凍一樣的

6、東西。它并不像電腦中的CPU那樣，利用單個的處理單元來進(jìn)行工作。如果你有一具新鮮地保存到福爾馬林中的尸體，用一把鋸子小心地將它的頭骨鋸開，搬掉頭蓋骨后，你就能看到熟悉的腦組織皺紋。大腦的外層象一個大核桃那樣，全部都是起皺的[圖0左]，這一層組織就稱皮層(Ctex)。如果你再小心地用手指把整個大腦從頭顱中端出來，再去拿一把外科醫(yī)生用的手術(shù)刀，將大腦切成片，那么你將看到大腦有兩層[圖0右]:灰色的外層(這就是“灰質(zhì)”一詞的來源，但沒有經(jīng)過福

7、爾馬林固定的新鮮大腦實際是粉紅色的。)和白色的內(nèi)層?；疑珜又挥袔缀撩缀?，其中緊密地壓縮著幾十億個被稱作neuron（神經(jīng)細(xì)胞、神經(jīng)元）的微小細(xì)胞。白色層在皮層灰質(zhì)的下面，占據(jù)了皮層的大部分空間，是由神經(jīng)細(xì)胞相互之間的無數(shù)連接組成。皮層象核桃一樣起皺，這可以把一個很大的表面區(qū)域塞進(jìn)到一個較小的空間里。這與光滑的皮層相比能容納更多的神經(jīng)細(xì)胞。人的大腦大約含有1OG（即100億）個這樣的微小處理單元一只螞蟻的大腦大約也有250OOO個。老鼠1

8、00000000（=10^8）人類10000000000（=10^10）大象100000000000（=10^11）圖1神經(jīng)細(xì)胞的結(jié)構(gòu)神經(jīng)細(xì)胞的結(jié)構(gòu)在人的生命的最初9個月內(nèi)，這些細(xì)胞以每分鐘25000個的驚人速度被創(chuàng)建出來。神經(jīng)細(xì)胞和人身上任何其他類型細(xì)胞十分不同，每個神經(jīng)細(xì)胞都長著一根像電線一樣的稱為軸突（axon）的東西，它的長度有時伸展到幾厘米［譯注］，用來將信號傳遞給其他的神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的結(jié)構(gòu)如圖1所示。它由一個細(xì)胞體(so

9、ma)、一些樹突(dendrite)、和一根可以很長的軸突組成。神經(jīng)細(xì)胞體是一顆星狀球形物，里面有一個核(nucleus)。樹突由細(xì)胞體向各個方向長出，本身可有分支，是用來接收信號的。軸突也有許多的分支。軸突通過分支的末梢(terminal)和其他神經(jīng)細(xì)胞的樹突相接觸形成所謂的突觸（Synapse，圖中未畫出），一個神經(jīng)細(xì)胞通過軸突和突觸把產(chǎn)生的信號送到其他的神經(jīng)細(xì)胞。每個神經(jīng)細(xì)胞通過它的樹突和大約10000個其他的神經(jīng)細(xì)胞相連。這就使