BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化及應(yīng)用.pdf

1、隨著存儲技術(shù)、信息技術(shù)的發(fā)展，知識的發(fā)現(xiàn)的需要日益迫切。在這情況下，作為一種有力的發(fā)現(xiàn)知識的工具，數(shù)據(jù)挖掘應(yīng)運而生。但是，在數(shù)據(jù)挖掘的過程中，經(jīng)常碰到的一個問題是要挖掘的數(shù)據(jù)的特征較為復(fù)雜，較難把握并提取其內(nèi)在聯(lián)系。神經(jīng)網(wǎng)絡(luò)具有非線性的映射能力，能較好地解決這一問題。BP神經(jīng)網(wǎng)絡(luò)是現(xiàn)今比較流行的一種神經(jīng)網(wǎng)絡(luò)，并且已在各個行業(yè)的數(shù)據(jù)挖掘中得到較廣泛的應(yīng)用。
　　 但是，BP神經(jīng)網(wǎng)絡(luò)也存在其缺點。隱層結(jié)構(gòu)難以確定就是其中之一。BP神

2、經(jīng)網(wǎng)絡(luò)的隱層節(jié)點的數(shù)目決定了整個網(wǎng)絡(luò)的規(guī)模和性能，若包含太多的隱節(jié)點則會導(dǎo)致冗余和網(wǎng)絡(luò)結(jié)構(gòu)的龐大，增加網(wǎng)絡(luò)的計算復(fù)雜度，致使網(wǎng)絡(luò)的響應(yīng)變慢，并且導(dǎo)致網(wǎng)絡(luò)的‘過擬合’現(xiàn)象；若包含太少的隱節(jié)點則會使訓(xùn)練無法完成或是不足以表現(xiàn)要挖掘的對象的特征。一直以來，隱層節(jié)點數(shù)目的確定都缺乏理論指導(dǎo)，并且，固定的隱節(jié)點數(shù)較不靈活，會在誤差曲面中的平坦區(qū)域停留相當長的時間，而且一旦陷入到極小點就會導(dǎo)致訓(xùn)練無法繼續(xù)。自適應(yīng)地變化的隱節(jié)點數(shù)目是此問題的較理想的

3、解決方法。常用的調(diào)整隱節(jié)點數(shù)目的算法包括增長法與修剪法。對于修剪法，在訓(xùn)練的初期需構(gòu)造一個規(guī)模較龐大的網(wǎng)絡(luò)，這樣會使算法復(fù)雜度大增。此外，眾多學(xué)者都指出，網(wǎng)絡(luò)的隱節(jié)點數(shù)應(yīng)盡量取少——即在能夠完成訓(xùn)練的基礎(chǔ)下，增加1、2個隱節(jié)點去提高訓(xùn)練速度即可。為此，本文提出了一種基于梯度變化而增加BP神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)目的算法。此算法能根據(jù)網(wǎng)絡(luò)訓(xùn)練的情況較好地調(diào)整隱節(jié)點的數(shù)目，并擺脫局部極小點。此外，本文還對遺傳算法作出了簡要的介紹，并且將這種增長隱