神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)理論及應(yīng)用研究.pdf

1、在神經(jīng)科學(xué)中，研究者相信記憶主要存儲(chǔ)于突觸強(qiáng)度而學(xué)習(xí)是改變突觸強(qiáng)度的過(guò)程。突觸強(qiáng)度的改變由神經(jīng)系統(tǒng)的突觸可塑性機(jī)制控制。神經(jīng)科學(xué)領(lǐng)域已經(jīng)積累了關(guān)于突觸可塑性的大量生理實(shí)驗(yàn)和生物建模研究。神經(jīng)機(jī)制中的突觸可塑性對(duì)應(yīng)了人工神經(jīng)網(wǎng)絡(luò)的權(quán)重學(xué)習(xí)規(guī)則。在機(jī)器學(xué)習(xí)領(lǐng)域，連接權(quán)重學(xué)習(xí)方法使人工神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的學(xué)習(xí)能力來(lái)解決各類實(shí)際工程應(yīng)用問(wèn)題。獨(dú)立于突觸強(qiáng)度變化，最近的神經(jīng)生理實(shí)驗(yàn)結(jié)果表明單個(gè)神經(jīng)元同樣具有改變自身激活性來(lái)匹配突觸輸入分布的調(diào)整能力

2、。文獻(xiàn)中這種單個(gè)神經(jīng)元的調(diào)整能力被稱為神經(jīng)元內(nèi)在可塑性。在數(shù)學(xué)建模中，內(nèi)在可塑性和神經(jīng)單元激活函數(shù)的調(diào)整相關(guān)。研究者已經(jīng)基于一定的理論假設(shè)來(lái)建立內(nèi)在可塑性學(xué)習(xí)規(guī)則，該假設(shè)認(rèn)為該機(jī)制的調(diào)整目標(biāo)是維持平穩(wěn)平均輸出響應(yīng)的同時(shí)最大化神經(jīng)元輸入輸出之間的互信息。受到這種新的可塑性機(jī)制的啟發(fā)，作者在本文中也提出了一種新穎的基于神經(jīng)元放電尖峰的內(nèi)在可塑性規(guī)則。在單獨(dú)研究?jī)?nèi)在可塑性的基礎(chǔ)上，作者將內(nèi)在可塑性機(jī)制和傳統(tǒng)研究中的突觸可塑性機(jī)制進(jìn)行了結(jié)合。在

3、生物或人工學(xué)習(xí)系統(tǒng)中這兩種可塑性機(jī)制的結(jié)合被稱為協(xié)同學(xué)習(xí)。在本文中作者首先分別闡述了突觸可塑性和內(nèi)在可塑性機(jī)制，進(jìn)而展示協(xié)同學(xué)習(xí)方法在計(jì)算神經(jīng)建模以及機(jī)器學(xué)習(xí)中的發(fā)揮作用。在計(jì)算神經(jīng)科學(xué)中，作者研究了內(nèi)在可塑性機(jī)制和突觸可塑性相結(jié)合的計(jì)算神經(jīng)模型，該模型被用來(lái)建模視覺(jué)生物實(shí)驗(yàn)現(xiàn)象，研究結(jié)果表明了協(xié)同學(xué)習(xí)在神經(jīng)建模中發(fā)揮的作用。在機(jī)器學(xué)習(xí)中，參照突觸可塑性機(jī)制啟發(fā)了人工神經(jīng)網(wǎng)絡(luò)的權(quán)重學(xué)習(xí)算法，作者通過(guò)引入激活函數(shù)調(diào)整規(guī)則的方式將內(nèi)在可塑性