bp 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究

1、BPBP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究劉彩紅1(西安工業(yè)大學(xué)北方信息工程學(xué)院，西安)摘要：要：（目的）本文針對BP算法收斂速度慢的問題，提出一種改進的BP算法。（方法）該算法結(jié)合生物神經(jīng)元學(xué)習(xí)與記憶形成的特點，針對特定的訓(xùn)練樣本，只激發(fā)網(wǎng)絡(luò)中的部分神經(jīng)元以產(chǎn)生相應(yīng)的輸出，而未被激發(fā)的神經(jīng)元產(chǎn)生的輸出則與目標輸出相差較大，那么我們只需要對未被激發(fā)的神經(jīng)元權(quán)值閾值進行調(diào)整。利用距離來度量訓(xùn)練樣本與神經(jīng)元權(quán)值之間的關(guān)系，可以找到

2、未被激發(fā)的神經(jīng)元。所以本論文提出的算法是對局部神經(jīng)元權(quán)值閾值的調(diào)整，（結(jié)果）通過實驗表明該算法有助于加快網(wǎng)絡(luò)的學(xué)習(xí)速度。關(guān)鍵詞：關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)算法，距離，權(quán)值閾值調(diào)整TheStudyofAlgithmofBPNeuralwkLIUCaihong(Xi’anTechnologicalUniversityNthInstituteofInfmationEngineering，Xi’anChina)Abstract:Thepaper

3、proposedanimprovedBPalgithm.Accdingtotheacteristicsofbiologicalneuroninlearningmemyfmationonlysomeneuronswerestimulatedtoproducetheoutputfthespecifictrainingsampleswhiletheotherpartoftheneuronsweren’tstimulated.Therearel

4、argedifferencebetweenthispartoftheneuron’soutputtargetthenweneedthispartneuronsweightthresholdvaluetoadjust.Usetomeasurethedistancefromthetrainingsampletherelationshipbetweentheweightsofeachneuroncanfindnotstimulatedneur

5、ons.Therefethealgithmproposedinthispaperonlyadjusttheweightthethresholdvalueofthelocalneuronsthiscanacceleratethelearningspeedofthewk.Keywds:BPNeuralwkLearningAlgithmDistanceWeightThresholdAdjustment1引言引言傳統(tǒng)BP算法是一種利用實際輸出與

6、期望輸出之間的誤差對網(wǎng)絡(luò)的各層連接權(quán)值和各結(jié)點的閾值由后向前逐層進行校正的一種監(jiān)督式學(xué)習(xí)方法。它根據(jù)最小二乘原理和梯度搜索技術(shù)，將學(xué)習(xí)過程分為輸入樣本的正向傳播和誤差的反向傳播兩個階段。輸入樣本從輸入層傳遞給隱藏層各結(jié)點，經(jīng)過各隱藏層用激勵函數(shù)逐層處理后傳遞給輸出層，若輸出層的實際輸出與期望輸出的誤差達不到預(yù)定要求，則將誤差沿著原連接通路反向傳播，同時根據(jù)誤差來調(diào)整各層的連接權(quán)值和閾值，使實際輸出與期望輸出的誤差逐漸減小。傳統(tǒng)BP（Ba

7、ckPropagation）算法的性能依賴于初始條件，學(xué)習(xí)速度慢，學(xué)習(xí)過程易陷入局部極小。近年來，人們根據(jù)實際應(yīng)用的需要對傳統(tǒng)BP算法做了許多改進，主要有采用自適應(yīng)學(xué)習(xí)率、與遺傳算法結(jié)合[12]和可調(diào)隱層結(jié)構(gòu)[34]等，這些方法在一定程度上優(yōu)化了BP算法。但以往大多改進算法，在誤差的反向傳播階段也就是訓(xùn)練的第二階段，是對所有神經(jīng)元的權(quán)值閾值都進行修改的。針對不同的輸入，神經(jīng)網(wǎng)絡(luò)激發(fā)不同的神經(jīng)元，所以可以在訓(xùn)練的第二階段修改部分神經(jīng)元的1

8、資助項目：資助項目：西安工業(yè)大學(xué)北方信息工程學(xué)院院長科研基金項目（BXXJJ1112）作者簡介：作者簡介：劉彩紅(1980)，女，陜西人，碩士研究生，研究方向為人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用。Email:rainbow_dd@手機：13609250662；但相似系數(shù)和距離有各種各樣的定義，而這些定義與變量的類型關(guān)系極大。由于實際問題中，遇到的指標有的是定量的（如長度、重量等），有的是定性的（如性別、職業(yè)等），因此將變量（指標）的類型按間隔尺度、有

9、序尺度和名義尺度這三種尺度來劃分。不同類型的變量，在定義距離和相似系數(shù)時，其方法有很大的差異，使用時必須注意。對于間隔尺度的距離，可以通過明氏（Minkowski）距離公式來度量。對相似系數(shù)這里不再作介紹。明氏（Minkowski）距離11()()qpqijiajaadqxx????當時1q?即絕對距離1(1)()pijiajaadxx????當時2q?即歐氏距離2121(2)()pijiajaadxx????當時q??即切比雪夫距離1

10、()maxijiajaapdxx?????當變量的測量值相差懸殊時，采用明氏距離并不合理，常需要先對數(shù)據(jù)標準化，然后用標準化后的數(shù)據(jù)計算距離。明氏距離特別是歐式距離，是人們較為熟悉的也是使用最多的距離。但明氏距離存在不足之處，主要表現(xiàn)在兩個方面：一，它與各指標的量綱有關(guān)；第二，它沒有考慮指標之間的相關(guān)性。另外還有馬氏（Mahalanobis）距離、蘭氏（Canberra）距離，和明氏距離一樣，它們的定義都是適用于間隔尺度變量的，如果變量

11、是有序尺度或名義尺度時，也有一些定義距離的方法。具體應(yīng)用時，要注意根據(jù)變量的類型選擇合適的度量公式。本文的實驗中用到的數(shù)據(jù)沒有量綱的差距，并且也都只有一兩個指標，所以選用歐氏距離作為度量公式。3.33.3提出算法的訓(xùn)練過程提出算法的訓(xùn)練過程基于局部權(quán)值閾值調(diào)整的BP算法，是在傳統(tǒng)BP算法的第二階段加入了隱層神經(jīng)元的競爭，權(quán)值閾值的調(diào)整就只發(fā)生在與獲勝神經(jīng)元相連弧線的路徑上。改進算法的具體步驟如下：1對權(quán)系數(shù)置初值。ijW對各層的權(quán)系數(shù)置