RBF神經(jīng)網(wǎng)絡集成研究及在個人信用評估中的應用.pdf

1、神經(jīng)網(wǎng)絡集成技術(shù)是神經(jīng)計算技術(shù)的一個研究熱點，在許多領(lǐng)域已經(jīng)有了成熟的應用。神經(jīng)網(wǎng)絡集成學習通過訓練多個神經(jīng)網(wǎng)絡并將其結(jié)果進行合成，顯著地提高了學習系統(tǒng)的泛化能力。但是如何設計出更有效的神經(jīng)網(wǎng)絡集成實現(xiàn)方法，以獲得更好的泛化性，并將神經(jīng)網(wǎng)絡集成應用到實際問題域中取得很好的效果，仍然是神經(jīng)網(wǎng)絡集成研究的熱點問題。對神經(jīng)網(wǎng)絡集成實現(xiàn)方法的研究主要集中在兩個方面，即如何生成集成中的成員網(wǎng)絡以及怎樣將多個神經(jīng)網(wǎng)絡的結(jié)論進行結(jié)合。理論和實踐都證明

2、，通過提高個體網(wǎng)絡的精確性和網(wǎng)絡間的差異性，可以提高神經(jīng)網(wǎng)絡集成的泛化性。 進化規(guī)劃(EVolutionar)r programming，簡稱EP)具有如下特點：(1)EP是基于拉馬克的進化學說，強調(diào)父代與子代之間的行為聯(lián)接；(2)進化算子中僅有突變，而沒有交叉，以消除互換問題；(3)突變操作中，刪除總是先于添加進行，以獲得最簡的網(wǎng)絡結(jié)構(gòu)；進化規(guī)劃的這些特點，使得使用EP進化神經(jīng)網(wǎng)絡來獲取差異性大的個體網(wǎng)絡成為可能。 文

3、化算法是一種用于解決復雜計算的新型全局優(yōu)化搜索算法。該算法模擬人類社會的演化過程。在人類社會中，文化可以被看作是信息的載體，這些信息潛在地影響所有社會成員，并且有益于指導同代及其后代解決問題的實踐活動。類似地，文化算法的重要思想就在于從進化的種群中獲取待解決問題的知識(即信念)，并反饋這些知識用于指導搜索過程。 本文在分析神經(jīng)網(wǎng)絡集成方法研究現(xiàn)狀的基礎上，以進化規(guī)劃、文化算法為支撐，提出了更有效的神經(jīng)網(wǎng)絡集成方法，并將其應用到個

4、人信用評估。主要工作如下： 1、在個體網(wǎng)絡生成方面進行研究，結(jié)合進化規(guī)劃，提出了基于進化規(guī)劃的神經(jīng)網(wǎng)絡集成方法(EP-ANNE)。 在個體網(wǎng)絡的初步訓練中，采用k-均值聚類法確定RBF網(wǎng)絡的中心，而網(wǎng)絡各層之間的連接權(quán)值采用標準的線性最小二乘回歸算法計算。在個體網(wǎng)絡的進一步訓練中，引入了進化規(guī)劃方法，具體實施如下：神經(jīng)網(wǎng)絡的隱含層中心用實矩陣表示，適應度函數(shù)選擇上我們引入了負相關(guān)學習機制，采用了級別選擇策略選擇個體網(wǎng)絡參

5、與訓練，根據(jù)個體網(wǎng)絡的訓練情況，即“成功”或“失敗”來確定是否進行結(jié)構(gòu)變異，這樣就實現(xiàn)了對網(wǎng)絡拓撲結(jié)構(gòu)的負相關(guān)訓練。通過引入進化規(guī)劃，獲得具有較大差異性的異構(gòu)個體網(wǎng)絡，從而提高了神經(jīng)網(wǎng)絡集成的泛化性。 2、在選擇用于集成的成員網(wǎng)絡方面進行了研究，提出了一種基于文化算法的神經(jīng)網(wǎng)絡集成方法。 首先使用bagging方法獨立訓練若干個體神經(jīng)網(wǎng)絡，然后再選擇部分個體網(wǎng)絡參與集成。本文在做選擇部分個體網(wǎng)絡參與集成上進行了研究，引入