變結(jié)構(gòu)貝葉斯神經(jīng)網(wǎng)絡(luò)的研究.pdf

1、本文的第一部分考慮前向神經(jīng)網(wǎng)絡(luò)與一線性項(xiàng)相加的模型，對(duì)這一模型進(jìn)行分層貝葉斯分析。針對(duì)前向神經(jīng)網(wǎng)絡(luò)隱含層結(jié)點(diǎn)個(gè)數(shù)未知的情形，我們用可逆跳躍Markov鏈Monte Carlo(RJMCMC)方法研究神經(jīng)網(wǎng)絡(luò)的模型選擇問題，即根據(jù)數(shù)據(jù)確定結(jié)點(diǎn)的個(gè)數(shù)以及它們之間的連接關(guān)系。 本文的第二部分給出了貝葉斯神經(jīng)網(wǎng)絡(luò)在時(shí)間序列分析中的應(yīng)用。我們采用的非線性回歸模型由一個(gè)線性自回歸項(xiàng)和一個(gè)未知隱含層結(jié)點(diǎn)個(gè)數(shù)的前向神經(jīng)網(wǎng)絡(luò)所組成。當(dāng)神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)

2、出現(xiàn)相似或不相關(guān)時(shí)，模型可辨識(shí)性問題就變得較為突出。因此，我們提出了新的可逆跳躍移動(dòng)，使模型選擇變得相對(duì)容易，有效地解決了模型可辨識(shí)性問題。 在本文的實(shí)驗(yàn)中，第一部分首先用第二章中改進(jìn)的RJMCMC算法對(duì)Robot arm數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)，用前200個(gè)數(shù)據(jù)對(duì)隱含結(jié)點(diǎn)個(gè)數(shù)進(jìn)行了選擇，并且得出了各個(gè)參數(shù)的值，對(duì)后200個(gè)數(shù)據(jù)進(jìn)行了預(yù)測(cè)，畫出了預(yù)測(cè)誤差曲線圖和直方圖，可以看出預(yù)測(cè)效果比較好，而且我們的實(shí)驗(yàn)所用時(shí)間較少。然后用我們的算法對(duì)

3、一個(gè)簡單神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了預(yù)測(cè)，可以看到預(yù)測(cè)的結(jié)果還是比較準(zhǔn)確的。第二部分首先把第三章中的理論應(yīng)用到一個(gè)具體的時(shí)間序列的例子(Airline數(shù)據(jù))，通過圖像我們可以看出預(yù)測(cè)結(jié)果還是比較精確的．然后通過實(shí)驗(yàn)說明了單獨(dú)地考慮我們模型中的兩項(xiàng)，也可進(jìn)行模型選擇。 綜上所述，本文中用RJMCMC的理論解決了兩個(gè)方面的問題：一是用改進(jìn)的RJMCMC算法來解決變結(jié)構(gòu)貝葉斯神經(jīng)網(wǎng)絡(luò)的問題，給出了解決這種問題的一個(gè)很好的算法，解決了神經(jīng)網(wǎng)絡(luò)過