Sum-of-Product神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的逼近能力研究.pdf

1、神經(jīng)網(wǎng)絡(luò)理論在近年來(lái)得到了迅速發(fā)展．神經(jīng)網(wǎng)絡(luò)的逼近能力是考察神經(jīng)網(wǎng)絡(luò)性能的重要一環(huán)．實(shí)際應(yīng)用問(wèn)題中要逼近的映射通常非常復(fù)雜，我們不能期待完全精確計(jì)算這些未知的映射．現(xiàn)在比較流行的趨勢(shì)是用神經(jīng)網(wǎng)絡(luò)計(jì)算一元函數(shù)或其它簡(jiǎn)單函數(shù)的復(fù)合和線性組合逼近靜態(tài)映射．這與如下的問(wèn)題相關(guān)：是否，或在什么條件下，一族神經(jīng)網(wǎng)絡(luò)輸出函數(shù)在某個(gè)多元函數(shù)空間中稠密?即神經(jīng)網(wǎng)絡(luò)的逼近能力的研究．神經(jīng)網(wǎng)絡(luò)的逼近能力問(wèn)題作為神經(jīng)網(wǎng)絡(luò)的一個(gè)基本問(wèn)題，隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，引起

2、了工程界和數(shù)學(xué)家們的廣泛關(guān)注．稠密性是理論上能夠逼近函數(shù)的能力，滿足稠密性并不意味著這種形式是一種有效的逼近格式．然而，缺少稠密性的保證就意味著一些網(wǎng)絡(luò)是不可能作逼近應(yīng)用的．對(duì)于神經(jīng)網(wǎng)絡(luò)的逼近問(wèn)題，在數(shù)學(xué)上講可以分為四個(gè)方面：函數(shù)逼近，函數(shù)族逼近(強(qiáng)逼近)，連續(xù)泛函逼近以及連續(xù)算子逼近．迄今，人們提出了很多神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用最廣泛的是前饋神經(jīng)網(wǎng)絡(luò)，所以各種前饋網(wǎng)絡(luò)的逼近能力的研究任務(wù)更加急迫． 學(xué)者們對(duì)徑向基函數(shù)(RBF)神經(jīng)網(wǎng)

3、絡(luò)的逼近能力已有了深入的研究，然而已有研究結(jié)果仍需要發(fā)展和完善．同時(shí)，學(xué)者們?cè)谘芯可窠?jīng)網(wǎng)絡(luò)對(duì)函數(shù)族的逼近能力時(shí)，都是利用了已有的多層感知器(MLP)和RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力定理，得到了這兩種不同網(wǎng)絡(luò)的強(qiáng)逼近結(jié)果，那么對(duì)一般的前饋網(wǎng)絡(luò)的函數(shù)逼近性和強(qiáng)逼近性之間是不是也存在著這種聯(lián)系呢?這一問(wèn)題對(duì)提出統(tǒng)一的逼近理論框架具有重要的實(shí)際意義． Sum-of-Product神經(jīng)網(wǎng)絡(luò)和Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)是分別于200

4、0年和2003年提出的，它們都是由求積神經(jīng)元和求和神經(jīng)元構(gòu)成的多層神經(jīng)網(wǎng)絡(luò)，試圖解決經(jīng)典RBF網(wǎng)絡(luò)和MLP網(wǎng)絡(luò)遇到的存儲(chǔ)記憶量大和學(xué)習(xí)困難的問(wèn)題．這兩種網(wǎng)絡(luò)在函數(shù)逼近、預(yù)測(cè)、分類和學(xué)習(xí)控制任務(wù)中都有很好的表現(xiàn)．本論文分別討論了這兩種神經(jīng)網(wǎng)絡(luò)的一致逼近能力和Lp逼近能力． 已有的神經(jīng)網(wǎng)絡(luò)逼近理論主要是存在性地證明了神經(jīng)網(wǎng)絡(luò)的逼近能力，我們應(yīng)用一種構(gòu)造型方法證明了具有RBF型和平移伸縮不變(TDI)型隱單元的三層前饋神經(jīng)網(wǎng)絡(luò)只需隨機(jī)

5、選擇隱單元的權(quán)值參數(shù)，然后適當(dāng)調(diào)整新增的隱單元和輸出單元之間的權(quán)值，網(wǎng)絡(luò)輸出函數(shù)就能夠以任意精度逼近L2(Rd)中任意函數(shù)．同時(shí)，我們的結(jié)果給出了一種自然地建立漸增網(wǎng)絡(luò)逼近L2(Rd)中函數(shù)的方法． 形如g(a·x)的嶺函數(shù)及其線性組合，在拓?fù)鋵W(xué)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、調(diào)和分析和逼近理論中都有廣泛應(yīng)用．這里g是一元函數(shù)，a·x表示歐氏空間Rn中內(nèi)積．確定在什么程度上函數(shù)表示成嶺函數(shù)的和的表達(dá)方式是唯一的，是非常重要的課題．已有的這方

6、面的研究結(jié)果考慮的是g∈C(R)和g∈L1loc(R)的情況，我們將相應(yīng)的結(jié)論推廣到g∈Lploc(R)(1≤p<∞)和g∈￠'(R)的情況．另外，如果一個(gè)函數(shù)能夠表示成嶺函數(shù)的和，函數(shù)本身和每個(gè)和分量的光滑性之間的關(guān)系也是本論文關(guān)心的問(wèn)題． 本論文的結(jié)構(gòu)和內(nèi)容如下： 第一章回顧了神經(jīng)網(wǎng)絡(luò)的相關(guān)基礎(chǔ)知識(shí)，介紹了神經(jīng)網(wǎng)絡(luò)的逼近能力理論研究意義、方法和研究現(xiàn)狀． 第二章主要研究了一個(gè)函數(shù)如果能夠表示成嶺函數(shù)的和，其表

7、達(dá)式的唯一性問(wèn)題．我們證明了如果f(x)=∑mi=1gi(αi·x)=0，ai=(ail，…，ain)∈Rn＼{0}兩兩線性無(wú)關(guān)，并且gi∈Lploc(R)(或gi∈￠'(R)，gi(a·x)∈￠'(Rn))，那么每個(gè)gi是一個(gè)次數(shù)不超過(guò)m-2次的多項(xiàng)式．此外，我們還給出了嶺函數(shù)線性組合的一個(gè)光滑性定理． 第三章給出了RBF神經(jīng)網(wǎng)絡(luò)在Lp空間中的函數(shù)逼近能力以及強(qiáng)逼近和算子逼近能力的結(jié)果．這些結(jié)果改進(jìn)了陳天平和蔣傳海等人最近在R

8、BF神經(jīng)網(wǎng)絡(luò)逼近方面的結(jié)果，為RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用提供了理論基礎(chǔ)．另外，我們還得到了前饋神經(jīng)一般形式的強(qiáng)逼近定理，現(xiàn)有的很多結(jié)果都是它的特例． 第四章指出了R上的連續(xù)函數(shù)作為Sum-of-Product神經(jīng)網(wǎng)絡(luò)的激活函數(shù)時(shí)，網(wǎng)絡(luò)所生成函數(shù)集合在C(K)中稠密的充分必要條件是它不是多項(xiàng)式．進(jìn)一步地，我們還給出了Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)所生成的函數(shù)集合在C(K)中稠密的充分必要條件． 第五章揭示了Sum-of-P

9、roduct神經(jīng)網(wǎng)絡(luò)所生成的函數(shù)集合在Lp(K)中稠密的充要條件．另外，我們根據(jù)Sum-of-Product神經(jīng)網(wǎng)絡(luò)的逼近結(jié)果，討論了Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)的Lp逼近能力． 第六章研究了具有隨機(jī)隱單元的三層漸增前饋神經(jīng)網(wǎng)絡(luò)對(duì)L2(Rd)中函數(shù)的逼近能力．主要討論了具有RBF型和平移伸縮不變(TDI)型隱單元的前饋神經(jīng)網(wǎng)絡(luò)．我們指出了對(duì)于具有RBF型隱單元的網(wǎng)絡(luò)，給定非零激活函數(shù)g：R→R且g(‖x‖Rd)∈L2(R