BP神經(jīng)網(wǎng)絡(luò)整體變步長與個體變步長算法的比較研究.pdf

1、神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)的簡稱，ANN）是受到生物神經(jīng)系統(tǒng)傳遞處理信息方式的啟示提出的一種網(wǎng)絡(luò)模型[1]。它是對生物神經(jīng)系統(tǒng)的一種簡化和模擬，由許許多多的人工神經(jīng)元通過有序復(fù)雜的相互連接組成。雖然單個神經(jīng)元的結(jié)構(gòu)簡單，功能有限，但是大量的神經(jīng)元高度互連形成的龐大神經(jīng)網(wǎng)絡(luò)具有很強的信息傳遞和處理能力。
　　BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種典型的前饋型神經(jīng)網(wǎng)絡(luò)。由于其結(jié)構(gòu)簡單、BP算法易于實現(xiàn)，是目前研究最多，應(yīng)用

2、最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[2]。因其擁有強大的非線性函數(shù)映射能力、并行分布式處理能力、自學(xué)習(xí)和自適應(yīng)能力、泛化能力、容錯能力，使其在模式識別、函數(shù)逼近、圖像識別、航空航天、智能控制、市場預(yù)測、企業(yè)管理等領(lǐng)域得到了廣泛的應(yīng)用[3]。但是由于標準的BP算法在網(wǎng)絡(luò)訓(xùn)練階段收斂速度慢、易產(chǎn)生波動和震蕩，使其在實際應(yīng)用中受到很大的制約。另外，訓(xùn)練初始點和初始步長也會嚴重影響B(tài)P神經(jīng)網(wǎng)絡(luò)的性能。因此，本文的目的就是要通過分析和研究解決標準BP算法收

3、斂速度慢的問題，并研究不同算法受訓(xùn)練初始點和初始步長影響的大小，從而為BP神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用掃清障礙以及為實際應(yīng)用的算法選擇提供依據(jù)。
　　針對標準BP算法的缺點和不足，本文查閱了大量的相關(guān)文獻資料，分析和總結(jié)了存在這些缺點和不足的原因，并在此基礎(chǔ)上重點比較研究了整體變步長和個體變步長算法的原理及其實現(xiàn)，通過4個實例在Matlab平臺上進行一系列的仿真實驗，并對得出的大量數(shù)據(jù)進行科學(xué)的數(shù)理統(tǒng)計分析，最終得出實驗結(jié)論。由于BP神經(jīng)網(wǎng)

4、絡(luò)的性能受到BP算法、激活函數(shù)、歸一化區(qū)間、初始點、初始步長等諸多因素的影響。因此，進行仿真實驗時采用單一變量，多次重復(fù)實驗求取均值和相對方差的方法來進行數(shù)據(jù)分析。
　　本文得出的主要結(jié)論:
　　(1)整體變步長和個體變步長算法可以大大加快網(wǎng)絡(luò)訓(xùn)練的收斂速度，并且克服了標準BP算法易出現(xiàn)的波動和震蕩現(xiàn)象。
　　(2)整體變步長算法是一種嚴格意義上的梯度下降法，而個體變步長算法不是嚴格意義上的梯度下降法。它是把n維的梯度

5、向量沿著n個相互垂直的坐標軸方向進行分解，并在這n個方向上的梯度分量進行搜索來尋找最優(yōu)點。
　　(3)在算法的收斂速度方面，彈性搜索的個體變步長算法最快，其次是步長繼承的整體變步長算法、坐標輪換搜索的個體變步長算法、步長不繼承的整體變步長算法。
　　(4)在算法受訓(xùn)練初始點影響方面，步長不繼承的整體變步長算法受訓(xùn)練初始點影響最小，其次是坐標輪換的個體變步長算法、步長繼承的整體變步長算法、彈性搜索的個體變步長算法。