遞增的稀疏神經網(wǎng)絡學習算法研究.pdf

1、人工神經網(wǎng)絡是解決許多問題的有利工具，但目前研究的神經網(wǎng)絡大多是全連接網(wǎng)絡，在實際應用中出現(xiàn)了一些問題，比如連線太多，硬件實現(xiàn)比較困難；網(wǎng)絡結構不易選取，容易出現(xiàn)過擬合等。針對這些問題，研究人員提出了許多新的網(wǎng)絡結構和學習算法，稀疏神經網(wǎng)絡就是其中之一。稀疏神經網(wǎng)絡是對人類大腦稀疏連接結構的一種模擬，具有減少計算時間，提高泛化能力，降低硬件實現(xiàn)難度等優(yōu)點。 本文針對稀疏神經網(wǎng)絡應用中連接度和中間節(jié)點數(shù)不易選取的問題，并根據(jù)生物神

2、經網(wǎng)絡的實際特點，設計出遞增結構的稀疏神經網(wǎng)絡學習算法，并通過仿真驗證了算法的有效性。首先，提出了固定中間節(jié)點數(shù)，在學習中增加網(wǎng)絡連接的學習算法。根據(jù)學習得到的網(wǎng)絡連接權值的不同，向網(wǎng)絡中增加連接，解決了連接度不易選取的問題。在增加連接學習算法的基礎之上，研究了同時改變神經網(wǎng)絡的連接度和隱含節(jié)點數(shù)的學習算法。模擬大腦皮層由薄到厚的發(fā)育過程，根據(jù)當前的學習結果，改變網(wǎng)絡的拓撲結構，逐步增加網(wǎng)絡中的連接和節(jié)點，最終學習得到滿意的稀疏神經網(wǎng)絡