前饋式神經(jīng)網(wǎng)絡(luò)快速訓(xùn)練算法研究及在掌紋識(shí)別中的應(yīng)用.pdf

1、前饋式神經(jīng)網(wǎng)絡(luò)是最具有代表性、應(yīng)用最廣的神經(jīng)網(wǎng)絡(luò)模型。誤差反向傳播算法(Backpropagation，BP)是其經(jīng)典的訓(xùn)練算法。但由于BP算法是基于固定學(xué)習(xí)率的梯度算法，所以不可避免地面臨著收斂速度緩慢等缺陷。為了加快前饋式神經(jīng)網(wǎng)絡(luò)的收斂速度，出現(xiàn)了很多改進(jìn)算法。它們都在一定程度上提高了網(wǎng)絡(luò)的收斂速度。然而它們大都存在著諸如仍以梯度為基礎(chǔ)，需要大量的存儲(chǔ)空間，泛化能力不夠等不足。 本文在研究和分析已有的改進(jìn)算法基礎(chǔ)上，首先基于

2、優(yōu)化理論中的Hooke-Jeeves模式搜索方法提出了一種新的快速訓(xùn)練算法(Hooke-JeevesPatternSearch，簡(jiǎn)稱HJPS算法)。該方法由探測(cè)搜索和模式移動(dòng)兩個(gè)步驟組成，二者交替進(jìn)行，使網(wǎng)絡(luò)參數(shù)得到優(yōu)化。由于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，即調(diào)整某個(gè)參數(shù)時(shí)，只影響與其相關(guān)的變量，所以可以只針對(duì)誤差函數(shù)的變化部分計(jì)算。對(duì)于三層網(wǎng)絡(luò)的四類參數(shù)，分別給出其簡(jiǎn)化的誤差函數(shù)表達(dá)式，從而將原問題轉(zhuǎn)化成一維搜索問題。使得訓(xùn)練過程被簡(jiǎn)化，從而保證

3、快速收斂。該算法最大的優(yōu)點(diǎn)是無需計(jì)算誤差函數(shù)的梯度。并且一旦網(wǎng)絡(luò)結(jié)構(gòu)被確定，則不再需要人為地調(diào)節(jié)任何參數(shù)。 逐層算法(Layer-by-Layer,簡(jiǎn)稱LBL算法)是一種非常有效的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，本文將其與HJPS算法的思想結(jié)合，提出一種逐參數(shù)算法(Parameter-by-Parameter，簡(jiǎn)稱PBP算法)。該算法在訓(xùn)練過程中考慮輸出層和隱層的輸入誤差，在每一次迭代中，通過最小二乘法對(duì)權(quán)值和閾值依次直接求解，從而大大地提高

4、了網(wǎng)絡(luò)的收斂速度。在PBP算法中，對(duì)隱層期望輸出，需要求解一個(gè)線性方程組，當(dāng)網(wǎng)絡(luò)的輸出層與隱層之間的權(quán)向量線性相關(guān)時(shí)，方程組系數(shù)行列式為0，此時(shí)就會(huì)像LBL算法一樣出現(xiàn)“stalling”問題。本文提出應(yīng)用Moore-Penrose逆方法來解決這一問題。 為了避免在PBP算法中出現(xiàn)“stalling”問題，以及在對(duì)求出的隱層期望輸出中超出sigmoid函數(shù)范圍的部分進(jìn)行截?cái)鄷r(shí)產(chǎn)生的截?cái)嗾`差，本文提出用目標(biāo)規(guī)劃的方法來求解隱層的期

5、望輸出。首先將求解隱層期望輸出的問題轉(zhuǎn)化成一個(gè)多目標(biāo)線性規(guī)劃問題，建立其目標(biāo)規(guī)劃模型，然后通過求解該目標(biāo)規(guī)劃模型來得到問題的解。通過這種方法，無論網(wǎng)絡(luò)輸出層與隱層之間的權(quán)向量是否線性相關(guān)，都可以根據(jù)目標(biāo)規(guī)劃模型給出一組滿意解。而且，由于在模型中為相應(yīng)的約束條件賦予較高的優(yōu)先級(jí)，可以有效地避免截?cái)嗾`差-Ⅰ-的產(chǎn)生?；谀繕?biāo)規(guī)劃方法提出的訓(xùn)練算法(Parameter-by-ParameterbasedonGoalProgramming，簡(jiǎn)稱

6、PBPGP算法)，在兩個(gè)實(shí)際應(yīng)用問題中取得了令人滿意的效果。 為了考察我們所提出的算法的實(shí)用性，我們將其應(yīng)用到掌紋識(shí)別的研究中。 掌紋識(shí)別作為一種新興的人體生物識(shí)別技術(shù)，近年來已受到越來越多的關(guān)注。本文提出基于平移不變Zernike矩(TranslationInvariantZernikeMoments，TIZMs)與模塊化神經(jīng)網(wǎng)絡(luò)(ModularNeuralNetwork，MNN)的掌紋識(shí)別方法TIZMs&MNN。Ze

7、rnike矩特征由于具有良好的旋轉(zhuǎn)不變性，在圖像處理和模式識(shí)別中已經(jīng)得到了廣泛的應(yīng)用，本文采用平移不變的Zernike矩作為掌紋的特征，以此彌補(bǔ)定位方法的不足。由于掌紋識(shí)別是一個(gè)大規(guī)模的多分類系統(tǒng)，單個(gè)的前饋式神經(jīng)網(wǎng)絡(luò)很難勝任。我們采用模塊化神經(jīng)網(wǎng)絡(luò)的思想，將一個(gè)多分類問題轉(zhuǎn)化為多個(gè)簡(jiǎn)單的二類問題。每個(gè)二類問題由一個(gè)三層前饋式神經(jīng)網(wǎng)絡(luò)來解決，并采用本文提出的HJPS和PBP算法的融合HJ-PBP算法來訓(xùn)練。另外，在辨識(shí)過程中采用“跳躍式