穩(wěn)定的Boosting類神經網絡集成新算法研究.pdf

1、神經網絡集成研究中個體網絡生成方法應用較廣的是Boosting類算法和Bagging類算法。Boosting類算法由于其權值的調整傾向于“困難”樣本,所以在迭代過程中容易使某些“困難”樣本累積,從而使集成輸出結果不穩(wěn)定；而Bagging算法所生成的個體網絡之間互不相關,因此在不穩(wěn)定訓練情況下不會造成“困難”樣本的累積,但由于Bagging算法不能針對性地訓練的個體網絡,使得該方法的精度無法控制。
　　 為了提高神經網絡集成算法的

2、穩(wěn)定性,使得集成算法在生成個體網絡的過程中不會使“困難”樣本形成過度積累,同時能針對性地訓練個體網絡以保證泛化精度。本文從Boosting類集成算法出發(fā)結合Bagging算法提出了BSLB(Boosting Seeded Local Bagging)新算法,將Boosting類集成算法中“困難”樣本積累現象加以改進,采用基于鄰居計算局部誤差的方法能區(qū)分對待“困難”樣本和“容易”樣本,并通過鄰居誤差挑選“困難”樣本作為種子樣本,根據種子樣

3、本運用Lazy算法生成.Bagging二次集成的訓練樣本集,使得新生成的訓練樣本分布不再過分關注“困難”樣本,從而保證了集成網絡的穩(wěn)定性,針對性地訓練個體網絡來保證其泛化精度。
　　 實驗結果表明,BSLB不會使得“困難”樣本過分積累,從而較之AdaBoosting,Local Boosting集成算法對個體網絡學習算法的依賴性更低,且不容易陷入局部最優(yōu)解,特別是在抗噪性上有較為突出的表現；所得到的網絡結構較之Local Bo