前饋神經(jīng)網(wǎng)絡(luò)的奇異學(xué)習(xí)動態(tài)研究.pdf

1、前饋神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都得到了廣泛的應(yīng)用，然而其學(xué)習(xí)過程經(jīng)常會變得很慢，容易陷入局部極小點，有時會陷入平坦區(qū)。研究導(dǎo)致這些問題出現(xiàn)的內(nèi)在工作機制是神經(jīng)網(wǎng)絡(luò)界的熱點問題。本文從神經(jīng)網(wǎng)絡(luò)奇異性的角度分析前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)動態(tài),以多層感知器(MLPs)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)作為研究對象，通過對奇異性區(qū)域附近的學(xué)習(xí)動態(tài)進(jìn)行理論分析和數(shù)值分析，闡述神經(jīng)網(wǎng)絡(luò)奇異性行為的內(nèi)在結(jié)構(gòu)和發(fā)生機制。本文的貢獻(xiàn)主要包括:
　　1.平均學(xué)習(xí)

2、方程對分析前饋神經(jīng)網(wǎng)絡(luò)的奇異性行為起著關(guān)鍵的作用?？煞e神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)能夠得到平均學(xué)習(xí)方程的解析表達(dá)式，使得我們可以對前饋神經(jīng)網(wǎng)絡(luò)的奇異學(xué)習(xí)動態(tài)做定量分析。為克服MLPs中傳統(tǒng)的激活函數(shù)—log-sigmoid函數(shù)和雙曲正切函數(shù)不可積的問題，分別選取單極性誤差函數(shù)和雙極性誤差函數(shù)作為MLPs的激活函數(shù)，首次給出了MLPs的平均學(xué)習(xí)方程的解析表達(dá)式。
　　2.使用傳統(tǒng)方法對單極性神經(jīng)元的MLPs中的重合奇異性區(qū)域附近的學(xué)習(xí)動態(tài)進(jìn)

3、行了詳細(xì)分析?；谄骄鶎W(xué)習(xí)方程的解析表達(dá)式，給出Hessian陣的顯式形式，對重合奇異性區(qū)域進(jìn)行了特征值分析，并給出了實際的平均學(xué)習(xí)軌跡，與理論的學(xué)習(xí)軌跡進(jìn)行比較分析。通過使用Taylor展開，對MLPs重合奇異性區(qū)域附近的泛化誤差曲面進(jìn)行分析，發(fā)現(xiàn)在重合奇異性區(qū)域附近泛化誤差曲面更加平坦，表明實際中重合奇異性區(qū)域有著比理論分析結(jié)果更大的影響區(qū)域。在仿真實驗中分別對單極性神經(jīng)元的MLPs的平均學(xué)習(xí)動態(tài)，批處理學(xué)習(xí)動態(tài)和在線學(xué)習(xí)動態(tài)進(jìn)行了

4、分析討論。
　　3.對雙極性神經(jīng)元的MLPs中的互反奇異性區(qū)域附近的學(xué)習(xí)動態(tài)進(jìn)行了討論分析。通過選取雙極性誤差函數(shù)作為激活函數(shù)，使用坐標(biāo)變換和Taylor展開，求得了互反奇異性區(qū)域附近的理論學(xué)習(xí)軌跡和實際的平均學(xué)習(xí)軌跡。給出了雙極性神經(jīng)元的MLPs重合奇異性區(qū)域和互反奇異性區(qū)域上的臨界點，表明雙極性神經(jīng)元的MLPs的參數(shù)空間中的臨界點比單極性神經(jīng)元的MLPs更多，選取單極性的激活函數(shù)更有優(yōu)勢。在仿真實驗中分別討論了MLPs的平均學(xué)