延遲反饋神經(jīng)網(wǎng)絡(luò)和兩層反饋神經(jīng)網(wǎng)絡(luò)的研究.pdf

1、反饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中最重要的類型之一，這種網(wǎng)絡(luò)的突出特點(diǎn)就是它具有聯(lián)想記憶的功能。反饋神經(jīng)網(wǎng)絡(luò)最重要的范例就是Hopfield網(wǎng)絡(luò)，它已經(jīng)被人們廣泛地研究過，然而Hopfield網(wǎng)絡(luò)和它的許多變種都存在著一些嚴(yán)重的缺陷，比如偽吸引子問題和低存儲率問題。這些缺陷嚴(yán)重地限制了它們的實(shí)際應(yīng)用能力。另外，Hopfield網(wǎng)絡(luò)是典型的非線性動力系統(tǒng)，在近十幾年來非線性動力學(xué)的發(fā)展中，人們認(rèn)識到到了非線性動力系統(tǒng)不僅可能存在不動點(diǎn)解，而且也可能

2、存在大量的極限環(huán)或周期運(yùn)動解。目前，絕大部分反饋神經(jīng)網(wǎng)絡(luò)都是利用系統(tǒng)的不動點(diǎn)作為信息存儲的載體，但這種方式?jīng)]有利用非線性動力系統(tǒng)大量存在的周期解，從某種意義上說是一種巨大的浪費(fèi)。 最近，趙鴻教授提出了一套關(guān)于聯(lián)想記憶反饋神經(jīng)網(wǎng)絡(luò)的整體學(xué)習(xí)規(guī)則(蒙特卡羅優(yōu)化變異規(guī)則)[Phys．Rev．E．70，066137(2004)]。這種學(xué)習(xí)規(guī)則的基本思想就是：通過不斷地優(yōu)化變異隨機(jī)選擇的連接權(quán)矩陣元，從而使網(wǎng)絡(luò)在給定的訓(xùn)練目標(biāo)下達(dá)到整體最

3、優(yōu)。采用這種學(xué)習(xí)規(guī)則訓(xùn)練的反饋網(wǎng)絡(luò)有許多非常有趣的動力學(xué)性質(zhì)。特別是，用這種學(xué)習(xí)規(guī)則訓(xùn)練的反饋網(wǎng)絡(luò)存在三個(gè)動力學(xué)性質(zhì)非常不同的相區(qū)：混沌區(qū)、純記憶區(qū)和混合區(qū)。在純記憶區(qū)，偽吸引子被完全消除，因此它非常適合于聯(lián)想記憶的應(yīng)用。 本論文利用這套整體學(xué)習(xí)規(guī)則重點(diǎn)研究兩個(gè)問題。第一個(gè)問題是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應(yīng)用于延遲反饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并詳細(xì)研究了用這種方法訓(xùn)練出的網(wǎng)絡(luò)的動力學(xué)性能，如偽吸引子和存儲率等。第二個(gè)問題

4、是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應(yīng)用于以極限環(huán)作為信息存儲載體的網(wǎng)絡(luò)，并研究極限環(huán)吸引子網(wǎng)絡(luò)(包括多層反饋網(wǎng)絡(luò)和延遲反饋網(wǎng)絡(luò))的動力學(xué)行為、網(wǎng)絡(luò)性能，以及與對應(yīng)的不動點(diǎn)吸引子網(wǎng)絡(luò)的區(qū)別。 在本論文的第一部分，我們把蒙特卡羅優(yōu)化變異規(guī)則推廣到存儲記憶模式為不動點(diǎn)吸引子和極限環(huán)吸引子的延遲反饋網(wǎng)絡(luò)上，然后對這種延遲反饋網(wǎng)絡(luò)的存儲率和動力學(xué)性質(zhì)進(jìn)行研究。我們的研究表明，采用蒙特卡羅優(yōu)化變異規(guī)則訓(xùn)練的延遲反饋網(wǎng)絡(luò)，和采用關(guān)聯(lián)

5、學(xué)習(xí)規(guī)則訓(xùn)練的延遲反饋網(wǎng)絡(luò)一樣，最大存儲率和延遲的長度成線性增長關(guān)系，但前者的數(shù)值遠(yuǎn)遠(yuǎn)高于后者；另外，蒙特卡羅優(yōu)化變異規(guī)則訓(xùn)練的延遲反饋網(wǎng)絡(luò)的推廣能力也比關(guān)聯(lián)學(xué)習(xí)規(guī)則訓(xùn)練的延遲反饋網(wǎng)絡(luò)要好；還有一個(gè)有趣的發(fā)現(xiàn)就是，在蒙特卡羅優(yōu)化變異規(guī)則訓(xùn)練的延遲反饋網(wǎng)絡(luò)中，如果記憶極限環(huán)的長度足夠大，偽吸引子會完全消失，網(wǎng)絡(luò)不存在混合區(qū)。作為應(yīng)用例子，我們演示了用延遲反饋網(wǎng)絡(luò)存儲具有交叉點(diǎn)的多個(gè)極限環(huán)，從一小串?dāng)?shù)字中聯(lián)想起整個(gè)數(shù)字序列。 在本論