無窮維統(tǒng)計(jì)神經(jīng)流形.pdf

1、人工神經(jīng)網(wǎng)絡(luò)(ANN)是一種最常用的、能勝任一系列工作的人工智能(AI)工具。通常，單個(gè)人工神經(jīng)網(wǎng)絡(luò)未必能夠精確而全面地掌握某一特定工作的特點(diǎn)，因此人們提出了“人工神經(jīng)網(wǎng)絡(luò)Ensemble”([l])模型一一一種集成一定數(shù)量單個(gè)人工神經(jīng)網(wǎng)絡(luò)使它們能夠按照一定機(jī)制給出統(tǒng)一的輸出的構(gòu)架。 隨著對(duì)神經(jīng)網(wǎng)絡(luò)模型的數(shù)學(xué)基礎(chǔ)研究的深入和實(shí)際應(yīng)用需要的增長(zhǎng)，人們提出了統(tǒng)計(jì)神經(jīng)流形(statistical neural manifolds)([

2、2]，[3])模型，來考察某類神經(jīng)網(wǎng)絡(luò)的總體性質(zhì)以及神經(jīng)網(wǎng)絡(luò)間信息流的動(dòng)力學(xué)特性。最近的神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)的前沿研究將興趣投向神經(jīng)場(chǎng)理論([4]，[5]，[6])，以便在提供大規(guī)模神經(jīng)元的數(shù)學(xué)行為的描述的同時(shí)給出神經(jīng)網(wǎng)絡(luò)的統(tǒng)一統(tǒng)計(jì)數(shù)學(xué)模型。 本文的工作可以分成三類：一，對(duì)最優(yōu)網(wǎng)絡(luò)構(gòu)架和推理原則是否一致[7]的研究；二，統(tǒng)計(jì)神經(jīng)流形上的Fisher信息矩陣的表示和計(jì)算：三，對(duì)神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)模型的統(tǒng)一數(shù)學(xué)描述的探索。具體說來，本文有

3、創(chuàng)新意義的工作主要有： 1)提出了適用于具有三層總體網(wǎng)絡(luò)拓?fù)錁?gòu)架的網(wǎng)絡(luò)或Ensemble的動(dòng)態(tài)子網(wǎng)選擇機(jī)制，并給出了Ensemble具有唯一、穩(wěn)定統(tǒng)計(jì)最優(yōu)輸出組合權(quán)值的充要條件 2)給出了全參數(shù)MLP神經(jīng)流形上的Fisher信息矩陣的分快矩陣表達(dá)式，并給出其關(guān)鍵子塊的顯式表達(dá)和逆。 3)基于亞指數(shù)S-型網(wǎng)絡(luò)(sub-exponential sigmoidal networks)([8])的Vapnik-Cherv