高階神經(jīng)網(wǎng)絡(luò)的梯度訓(xùn)練算法收斂性分析.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是由多層的求和單元構(gòu)成的，例如多層感知器等．這些網(wǎng)絡(luò)不但是學(xué)者們研究的熱點并且已經(jīng)在各個領(lǐng)域得到了廣泛應(yīng)用．由于求和單元自身的非線性映射能力有限，因此在解決復(fù)雜的問題時，單純由求和單元構(gòu)成的網(wǎng)絡(luò)可能無法達到要求的精度．例如，盡管有結(jié)論指出，有求和單元構(gòu)成的單隱層前饋網(wǎng)絡(luò)可以以任意的精度逼近任意函數(shù)．但是在逼近某個復(fù)雜的函數(shù)時，網(wǎng)絡(luò)的隱層中需要補充大量的求和單元．這不但增大了網(wǎng)絡(luò)的成本，而且還降低了網(wǎng)絡(luò)的泛化能力．

2、為了克服這個缺點，人們引入了某些具有更強的非線性性質(zhì)的單元，例如：Sigma-Pi單元，積單元和Pi-Sigma單元等．這些單元可以通稱為高階單元．在結(jié)構(gòu)中整合了高階單元的神經(jīng)網(wǎng)絡(luò)被稱為高階神經(jīng)網(wǎng)絡(luò)(HONN)，其中包括Sigma-Pi神經(jīng)網(wǎng)絡(luò)(SPNN)，Pi-Sigma神經(jīng)網(wǎng)絡(luò)(PSNN)以及積單元神經(jīng)網(wǎng)絡(luò)(Product-Unitneuralnetwork-PUNN)等．人們已經(jīng)對各類高階神經(jīng)網(wǎng)絡(luò)的性能以及應(yīng)用做了相應(yīng)的研究，但是

3、由于高階神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜，因此對其理論上的研究相對較少． 梯度算法是目前最流行的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法．梯度法有兩種不同的執(zhí)行方式，它們是在線執(zhí)行方式和批處理執(zhí)行方式．本文主要的工作是分析用梯度法訓(xùn)練高階神經(jīng)網(wǎng)絡(luò)的收斂性．我給出了Sigma-Pi神經(jīng)網(wǎng)絡(luò)和積單元神經(jīng)網(wǎng)絡(luò)的梯度法收斂性結(jié)果．此外，我還研究了用高階神經(jīng)網(wǎng)絡(luò)來實現(xiàn)任意的布爾函數(shù)，并給出了有效地解決方案． 本文的結(jié)構(gòu)及內(nèi)容如下： 第一章回顧有關(guān)神經(jīng)網(wǎng)絡(luò)的

4、一些背景知識． 在第二章中，通過對∑-∏-∑這類Sigma-Pi神經(jīng)網(wǎng)絡(luò)的分析，得到了一些與網(wǎng)絡(luò)結(jié)構(gòu)無關(guān)的梯度算法收斂性結(jié)論．該結(jié)論具有很好的擴展性，可以涵蓋其他幾類Sigma-Pi神經(jīng)網(wǎng)絡(luò)的收斂性，其中包括∑-∑-∏和∑-∏-∑-∏．并且此結(jié)論也適用于單隱層的求和神經(jīng)網(wǎng)絡(luò)，即∑-∑．在論述的過程了，對于訓(xùn)練過程中的誤差函數(shù)的單調(diào)性也給出了相應(yīng)的證明． 第三章和第四章分別對用批處理梯度算法和在線梯度算法訓(xùn)練積單元神經(jīng)網(wǎng)絡(luò)

5、時誤差函數(shù)的單調(diào)性及收斂性進行了分析．該結(jié)論為由全局搜索算法和局部優(yōu)化算法(梯度法)構(gòu)成的組合算法的局部優(yōu)化行為提供了理論支持．隨后的數(shù)值試驗也驗證了理論結(jié)果的正確性． 第五章提出了二進積單元神經(jīng)網(wǎng)絡(luò)(BinaryProduct-Unitneuralnetwork-BPUNN)，并證明了這種網(wǎng)絡(luò)可以模擬邏輯數(shù)學(xué)中的主析取范式，可以實現(xiàn)任意的布爾函數(shù)．網(wǎng)絡(luò)的權(quán)值是通過直接計算得到的，而且都是二值的．隨后還給出了該網(wǎng)絡(luò)的規(guī)則讀取算法