RBF神經(jīng)網(wǎng)絡(luò)集成研究及在個(gè)人信用評估中的應(yīng)用.pdf

1、神經(jīng)網(wǎng)絡(luò)集成技術(shù)是神經(jīng)計(jì)算技術(shù)的一個(gè)研究熱點(diǎn)，在許多領(lǐng)域已經(jīng)有了成熟的應(yīng)用。神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)通過訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進(jìn)行合成，顯著地提高了學(xué)習(xí)系統(tǒng)的泛化能力。但是如何設(shè)計(jì)出更有效的神經(jīng)網(wǎng)絡(luò)集成實(shí)現(xiàn)方法，以獲得更好的泛化性，并將神經(jīng)網(wǎng)絡(luò)集成應(yīng)用到實(shí)際問題域中取得很好的效果，仍然是神經(jīng)網(wǎng)絡(luò)集成研究的熱點(diǎn)問題。對神經(jīng)網(wǎng)絡(luò)集成實(shí)現(xiàn)方法的研究主要集中在兩個(gè)方面，即如何生成集成中的成員網(wǎng)絡(luò)以及怎樣將多個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)論進(jìn)行結(jié)合。理論和實(shí)踐都證明

2、，通過提高個(gè)體網(wǎng)絡(luò)的精確性和網(wǎng)絡(luò)間的差異性，可以提高神經(jīng)網(wǎng)絡(luò)集成的泛化性。 進(jìn)化規(guī)劃(EVolutionar)r programming，簡稱EP)具有如下特點(diǎn)：(1)EP是基于拉馬克的進(jìn)化學(xué)說，強(qiáng)調(diào)父代與子代之間的行為聯(lián)接；(2)進(jìn)化算子中僅有突變，而沒有交叉，以消除互換問題；(3)突變操作中，刪除總是先于添加進(jìn)行，以獲得最簡的網(wǎng)絡(luò)結(jié)構(gòu)；進(jìn)化規(guī)劃的這些特點(diǎn)，使得使用EP進(jìn)化神經(jīng)網(wǎng)絡(luò)來獲取差異性大的個(gè)體網(wǎng)絡(luò)成為可能。 文

3、化算法是一種用于解決復(fù)雜計(jì)算的新型全局優(yōu)化搜索算法。該算法模擬人類社會(huì)的演化過程。在人類社會(huì)中，文化可以被看作是信息的載體，這些信息潛在地影響所有社會(huì)成員，并且有益于指導(dǎo)同代及其后代解決問題的實(shí)踐活動(dòng)。類似地，文化算法的重要思想就在于從進(jìn)化的種群中獲取待解決問題的知識(shí)(即信念)，并反饋這些知識(shí)用于指導(dǎo)搜索過程。 本文在分析神經(jīng)網(wǎng)絡(luò)集成方法研究現(xiàn)狀的基礎(chǔ)上，以進(jìn)化規(guī)劃、文化算法為支撐，提出了更有效的神經(jīng)網(wǎng)絡(luò)集成方法，并將其應(yīng)用到個(gè)

4、人信用評估。主要工作如下： 1、在個(gè)體網(wǎng)絡(luò)生成方面進(jìn)行研究，結(jié)合進(jìn)化規(guī)劃，提出了基于進(jìn)化規(guī)劃的神經(jīng)網(wǎng)絡(luò)集成方法(EP-ANNE)。 在個(gè)體網(wǎng)絡(luò)的初步訓(xùn)練中，采用k-均值聚類法確定RBF網(wǎng)絡(luò)的中心，而網(wǎng)絡(luò)各層之間的連接權(quán)值采用標(biāo)準(zhǔn)的線性最小二乘回歸算法計(jì)算。在個(gè)體網(wǎng)絡(luò)的進(jìn)一步訓(xùn)練中，引入了進(jìn)化規(guī)劃方法，具體實(shí)施如下：神經(jīng)網(wǎng)絡(luò)的隱含層中心用實(shí)矩陣表示，適應(yīng)度函數(shù)選擇上我們引入了負(fù)相關(guān)學(xué)習(xí)機(jī)制，采用了級別選擇策略選擇個(gè)體網(wǎng)絡(luò)參

5、與訓(xùn)練，根據(jù)個(gè)體網(wǎng)絡(luò)的訓(xùn)練情況，即“成功”或“失敗”來確定是否進(jìn)行結(jié)構(gòu)變異，這樣就實(shí)現(xiàn)了對網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的負(fù)相關(guān)訓(xùn)練。通過引入進(jìn)化規(guī)劃，獲得具有較大差異性的異構(gòu)個(gè)體網(wǎng)絡(luò)，從而提高了神經(jīng)網(wǎng)絡(luò)集成的泛化性。 2、在選擇用于集成的成員網(wǎng)絡(luò)方面進(jìn)行了研究，提出了一種基于文化算法的神經(jīng)網(wǎng)絡(luò)集成方法。 首先使用bagging方法獨(dú)立訓(xùn)練若干個(gè)體神經(jīng)網(wǎng)絡(luò)，然后再選擇部分個(gè)體網(wǎng)絡(luò)參與集成。本文在做選擇部分個(gè)體網(wǎng)絡(luò)參與集成上進(jìn)行了研究，引入