基于突觸計算的神經(jīng)網(wǎng)絡情景記憶模型研究.pdf

1、生物學研究表明，一些生物網(wǎng)絡具有復雜的時空連接特性，并伴有可復現(xiàn)的序貫活動，許多復雜的生命行為與此緊密關聯(lián)。時空連接網(wǎng)絡的模式轉移序貫行為的研究還可以為序貫決策，記憶搜索，外部刺激的編碼與識別等生物智能系統(tǒng)的建模提供可借鑒的方法。
　　 本文對基于突觸計算的神經(jīng)網(wǎng)絡情景記憶模型進行了系統(tǒng)深入的研究。主要研究了動態(tài)突觸、混沌神經(jīng)元、非線性內(nèi)電位構造函數(shù)以及非全連接結構對網(wǎng)絡性能的影響，給出了可復現(xiàn)的模式轉移序貫行為的產(chǎn)生方法與機理

2、、產(chǎn)生的時空連接條件及調(diào)控方法，并分析了時空連接網(wǎng)絡模式轉移行為的穩(wěn)定性。論文的主要研究內(nèi)容和創(chuàng)新點如下：
　　 (1)基于動態(tài)突觸和非線性內(nèi)電位構造函數(shù)的神經(jīng)網(wǎng)絡聯(lián)想記憶模型研究。
　　 神經(jīng)生理學的研究表明，多種神經(jīng)元的突觸連接強度在短時程內(nèi)會發(fā)生較大的變化。本文首先將動態(tài)突觸植入人工神經(jīng)網(wǎng)絡，研究抑制型動態(tài)突觸神經(jīng)網(wǎng)絡模型聯(lián)想記憶。并且進一步設計出一種以非線性內(nèi)電位函數(shù)構造為核心的抗偽狀態(tài)方案，以取代傳統(tǒng)的Hebb

3、規(guī)則及其外積法，建立了一種抗偽狀態(tài)的聯(lián)想記憶網(wǎng)絡，并通過吸引域的變化研究抗偽狀態(tài)方案的正確性和有效性。仿真結果表明：比采用抑制型動態(tài)突觸和非線性內(nèi)電位函數(shù)構造的模型比傳統(tǒng)Hebb規(guī)則及其外積法的Hopfield聯(lián)想記憶網(wǎng)絡在容錯性上更優(yōu)，記憶狀態(tài)的吸引域明顯增大，存儲容量也有所增加。
　　 (2)基于可控混沌神經(jīng)元的神經(jīng)網(wǎng)絡聯(lián)想記憶模型研究。
　　 在神經(jīng)系統(tǒng)中，從微觀的神經(jīng)元到宏觀的腦電波，理論和實驗兩方面都發(fā)現(xiàn)了混沌

4、現(xiàn)象的存在，它在人工神經(jīng)網(wǎng)絡的信息處理中起著重要作用。但是混沌神經(jīng)網(wǎng)絡的混沌特性使得網(wǎng)絡不能穩(wěn)定到某個模式或者周期性軌道，這樣就妨礙了混沌神經(jīng)網(wǎng)絡在信息處理中的應用。本文提出了一種混沌神經(jīng)網(wǎng)絡控制的動態(tài)抑制模型，其動態(tài)抑制作用于混沌神經(jīng)元的內(nèi)狀態(tài)。混沌神經(jīng)網(wǎng)絡在動態(tài)抑制控制作用下，網(wǎng)絡的控制目標不需要預先給定，網(wǎng)絡可以以自適應的方式進行控制。仿真結果表明：只要控制強度參數(shù)選取合理，混沌神經(jīng)網(wǎng)絡在控制作用下就可以穩(wěn)定到記憶模式。
　

5、　 (3)基于復雜網(wǎng)絡構造的神經(jīng)網(wǎng)絡聯(lián)想記憶模型研究。
　　 真實的大腦神經(jīng)網(wǎng)絡是稀疏網(wǎng)絡，而且具有幾何效應。為了更加真實地模擬真實神經(jīng)系統(tǒng)的工作特性，本文提出了一種連接度為正態(tài)分布的網(wǎng)絡結構，并研究了不同平均連接度對神經(jīng)網(wǎng)絡存儲容量和吸引域的影響，以及不同網(wǎng)絡結構對神經(jīng)網(wǎng)絡性能的影響。研究結果表明：對于連接度正態(tài)分布的神經(jīng)網(wǎng)絡其最大存儲容量是平均連接度為0.64N的時候，網(wǎng)絡的存儲容量是傳統(tǒng)的全連接Hopfield神經(jīng)網(wǎng)絡的

6、兩倍多。但是，神經(jīng)元平均連接度越高的網(wǎng)絡對聯(lián)想記憶的魯棒性越好，而吸引域則隨著平均連接度的減小而減小。非全連接的神經(jīng)網(wǎng)絡具有高的存儲容量，但是容錯性卻降低了，網(wǎng)絡存儲容量的提高是以犧牲網(wǎng)絡的容錯性為代價的。通過對正態(tài)分布網(wǎng)絡，ER分布網(wǎng)絡，Small-world網(wǎng)絡聯(lián)想記憶性能的比較，得出了一個關于非全連接網(wǎng)絡的一般性的結論：網(wǎng)絡存儲容量的大小不完全取決于網(wǎng)絡的平均連接度，而且取決于網(wǎng)絡的結構；吸引域的大小與網(wǎng)絡的結構無關，只與網(wǎng)絡的平

7、均連接度有關。
　　 (4)基于混沌神經(jīng)元和動態(tài)突觸的情景記憶模型研究。
　　 許多研究結果表明神經(jīng)網(wǎng)絡的模式轉移現(xiàn)象依賴于動態(tài)突觸和混沌神經(jīng)元，而傳統(tǒng)的情景記憶還沒有將神經(jīng)元突觸的動態(tài)性以及神經(jīng)元的混沌性考慮進去。為了準確地描述神經(jīng)元在情景記憶中的功能，本文提出了一種基于動態(tài)突觸和混沌神經(jīng)元的情景記憶模型，并分析研究了抑制型動態(tài)突觸和混沌神經(jīng)元對神經(jīng)網(wǎng)絡情景記憶的存儲容量、模式轉移時間，序列的穩(wěn)定性以及模式穩(wěn)定時間的影

8、響。仿真實驗結果表明：抑制型動態(tài)突觸可以提高網(wǎng)絡情景記憶的存儲容量，縮短模式轉移時間，提高情景記憶的穩(wěn)定性，縮短模式的穩(wěn)定時間；混沌神經(jīng)元的特性使得網(wǎng)絡模式的穩(wěn)定時間縮短，并且模式的穩(wěn)定時間的大小可以由混沌特性參數(shù)決定；另外，混沌神經(jīng)元的特性縮短了模式轉移時間。
　　 (5)穩(wěn)定時間可控的情景記憶模型研究。
　　 在傳統(tǒng)的情景記憶模型中，模式的穩(wěn)定時間是不可以控制的，這與真實的神經(jīng)系統(tǒng)情景記憶是不符合的。為此，本文研究研

9、究穩(wěn)定時間可控的情景記憶模型，首先提出了一種基于指數(shù)內(nèi)核取樣函數(shù)的模式穩(wěn)定時間可控的情景記憶模型，模式的穩(wěn)定時間通過取樣間隔時間參數(shù)來控制。其次，本文又進一步將非全連接結構和內(nèi)電位構造函數(shù)引入情景記憶模型，分別提出了基于復雜網(wǎng)絡的情景記憶模型和基于非線性內(nèi)電位構造函數(shù)的多序列情景記憶模型，并分析了神經(jīng)元不同連接度下神經(jīng)網(wǎng)絡情景記憶的性能，和非線性內(nèi)電位構造函數(shù)對神經(jīng)網(wǎng)絡情景記憶的影響。結果表明，非全連接結構網(wǎng)絡情景記憶可以更加有效率地使

10、用神經(jīng)元之間的連接資源，并且對于不同結構的非全連接網(wǎng)絡，在同樣的平均連接度下，利用連接資源的效率是一樣的，而內(nèi)電位構造函數(shù)則可以提高情景記憶的存儲容量。最后，為了更有效地模仿真實神經(jīng)系統(tǒng)情景記憶的狀態(tài)，本文提出了一種基于神經(jīng)元協(xié)同激勵的不同模式的穩(wěn)定時間不同的情景記憶模型。在該模型中，不同模式的穩(wěn)定時間可以通過該模式和輸入模式之間的相似性來控制，相似度越高，模式穩(wěn)定時間越長。另外，神經(jīng)元協(xié)同激勵情景記憶存儲容量比傳統(tǒng)的情景記憶模型得到明