基于敏感性的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)學(xué)習(xí)算法研究.pdf

1、隨著機(jī)器學(xué)習(xí)的快速發(fā)展，人工神經(jīng)網(wǎng)絡(luò)再次引起廣大研究人員關(guān)注，改善前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一直是該領(lǐng)域的研究熱點(diǎn)與難點(diǎn)。本文將從Madaline神經(jīng)網(wǎng)絡(luò)（由若干Adaline神經(jīng)元組成）結(jié)構(gòu)變化對輸出的影響（即結(jié)構(gòu)敏感）性角度入手，對Madaline神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)敏感性計算進(jìn)行詳細(xì)推導(dǎo)，以期用網(wǎng)絡(luò)結(jié)構(gòu)敏感性研究結(jié)論來指導(dǎo)Madaline網(wǎng)絡(luò)的學(xué)習(xí)，并結(jié)合Madaline神經(jīng)網(wǎng)絡(luò)的權(quán)參數(shù)自適應(yīng)學(xué)習(xí)算法打造出能使性能滿足學(xué)習(xí)任務(wù)且能夠優(yōu)化網(wǎng)絡(luò)

2、結(jié)構(gòu)的Madaline網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)結(jié)構(gòu)學(xué)習(xí)機(jī)制。本文的主要研究內(nèi)容如下:
　　(1)提出了基于網(wǎng)絡(luò)結(jié)構(gòu)變化下的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)敏感性計算算法。網(wǎng)絡(luò)結(jié)構(gòu)規(guī)模變小或變大都會一定程度上影響網(wǎng)絡(luò)的輸出結(jié)果，因此，本文提出了基于網(wǎng)絡(luò)結(jié)構(gòu)的變化下的網(wǎng)絡(luò)結(jié)構(gòu)敏感性，并推導(dǎo)出計算過程。
　　(2)提出了更為合理的、基于敏感性的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)裁剪算法。在本文Madaline網(wǎng)絡(luò)結(jié)構(gòu)敏感性計算理論的基礎(chǔ)上，通過直接計

3、算因裁剪網(wǎng)絡(luò)結(jié)構(gòu)所導(dǎo)致的網(wǎng)絡(luò)輸出變化，以此來更真實(shí)地度量網(wǎng)絡(luò)因結(jié)構(gòu)裁剪而導(dǎo)致的性能損失，并進(jìn)一步來指導(dǎo)網(wǎng)絡(luò)中神經(jīng)元的裁剪。
　　(3)提出了更為合理的、基于敏感性的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)展算法。本文的結(jié)構(gòu)擴(kuò)展算法要求在每次給訓(xùn)練后的網(wǎng)絡(luò)增加一個隱層節(jié)點(diǎn)時，都必須遵循最小擾動原則，通過網(wǎng)絡(luò)結(jié)構(gòu)的敏感性選出使得網(wǎng)絡(luò)輸出影響小網(wǎng)絡(luò)結(jié)構(gòu)。
　　(4)提出了基于敏感性的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)算法。該算法在網(wǎng)絡(luò)的學(xué)習(xí)