人工神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法的研究及在人臉識別中的應(yīng)用.pdf

1、人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)(ArtificialNeuralNetwork，ANN)是通過仿真和模擬生物的神經(jīng)系統(tǒng)而獲得非線性處理能力的一種模型。它是由大量的神經(jīng)元模型按照一定的拓?fù)浣Y(jié)構(gòu)連接而成。它能通過神經(jīng)元模型的簡單計算復(fù)合映射獲得復(fù)雜的非線性映射能力，因此被廣泛的應(yīng)用在模式識別、圖像處理、數(shù)據(jù)挖掘、信號處理、自動控制等多個領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)模型中最常用的一種模型是多層感知器網(wǎng)絡(luò)模型（Multi-LayerPerceptrons，MLP）

2、。它是由多層神經(jīng)元模型構(gòu)成，每個神經(jīng)元模型采用Sigmoid激勵函數(shù)。MLP網(wǎng)絡(luò)模型最常使用的學(xué)習(xí)算法是誤差反向傳播算法(Back-Propagation，BP)，因此又稱BP神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)傳統(tǒng)的BP學(xué)習(xí)算法是梯度下降法，學(xué)習(xí)因子是實驗者根據(jù)經(jīng)驗設(shè)定的固定值，但由于誤差函數(shù)的高維復(fù)雜性和學(xué)習(xí)因子大小設(shè)定不當(dāng)，梯度下降算法在學(xué)習(xí)過程中存在誤差收斂速度過慢甚至不收斂、誤差出現(xiàn)震蕩、容易陷入局部極小點等問題。
　　 本文在三層全互

3、聯(lián)MLP網(wǎng)絡(luò)模型的基礎(chǔ)上，針對傳統(tǒng)BP梯度下降算法存在的不足，介紹了幾種改進(jìn)算法，主要包括加速梯度下降法、共軛梯度法、輸出權(quán)值優(yōu)化算法、學(xué)習(xí)因子優(yōu)化算法，多重學(xué)習(xí)因子優(yōu)化算法等。
　　 其中加速梯度法將學(xué)習(xí)因子修改為根據(jù)誤差函數(shù)對學(xué)習(xí)因子的梯度為零計算得到;共軛梯度法是將數(shù)學(xué)中共軛優(yōu)化的原理應(yīng)用到計算學(xué)習(xí)因子的過程中，它首先計算誤差函數(shù)對學(xué)習(xí)因子的梯度的共軛梯度，然后用共軛梯度代替原來的梯度計算學(xué)習(xí)因子;輸出權(quán)值優(yōu)化算法通過構(gòu)造

4、線性方程組計算得到輸出層的權(quán)值，因為它只對輸出層做優(yōu)化，所以可以和加速梯度法或共軛梯度法結(jié)合使用;學(xué)習(xí)因子優(yōu)化算法是利用了誤差函數(shù)與學(xué)習(xí)因子之間的高階導(dǎo)數(shù)信息來計算學(xué)習(xí)因子;多重學(xué)習(xí)因子優(yōu)化算法是在學(xué)習(xí)因子優(yōu)化算法的基礎(chǔ)上，將學(xué)習(xí)因子擴(kuò)展為一個向量，向量的中每一項對應(yīng)一個隱含層節(jié)點的學(xué)習(xí)因子。在公共數(shù)據(jù)集上的實驗結(jié)果表明，改進(jìn)后的算法能夠有效的解決神經(jīng)網(wǎng)絡(luò)傳統(tǒng)BP梯度下降法存在的不足。
　　 神經(jīng)網(wǎng)絡(luò)模型被廣泛的應(yīng)用在人臉識別領(lǐng)

5、域。本文設(shè)計一個基于MLP神經(jīng)網(wǎng)絡(luò)模型的分類器，該分類器使用的BP學(xué)習(xí)算法，并應(yīng)用在復(fù)雜光照條件下的人臉識別系統(tǒng)中。本文提出了一種人臉圖像特征提取的方法，該方法首先使用Gabor小波濾波器對人臉圖像進(jìn)行多方向、多尺度的濾波，然后將濾波后的圖像進(jìn)行自適應(yīng)閾值二值化，最后分塊提取每個圖像的特征組成特征向量。為了降低神經(jīng)網(wǎng)絡(luò)分類器的計算復(fù)雜度，首先使用主成分分析(PCA)對特征向量降維，然后使用神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行學(xué)習(xí)和分類識別。該方法結(jié)合了G