人工智能-bp神經(jīng)網(wǎng)絡(luò)算法的簡(jiǎn)單實(shí)現(xiàn)

1、人工神經(jīng)網(wǎng)絡(luò)是一種模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)，能提高人們對(duì)信息處理的智能化水平。它是一門新興的邊緣和交叉學(xué)科，它在理論、模型、算法等方面比起以前有了較大的發(fā)展，但至今無根本性的突破，還有很多空白點(diǎn)需要努力探索和研究。1人工神經(jīng)網(wǎng)絡(luò)研究背景人工神經(jīng)網(wǎng)絡(luò)研究背景神經(jīng)網(wǎng)絡(luò)的研究包括神經(jīng)網(wǎng)絡(luò)基本理論、網(wǎng)絡(luò)學(xué)習(xí)算法、網(wǎng)絡(luò)模型以及網(wǎng)絡(luò)應(yīng)用等方面。其中比較熱門的一個(gè)課題就是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究。近年來己研究出許多與神經(jīng)網(wǎng)絡(luò)模型相對(duì)應(yīng)的神經(jīng)網(wǎng)

2、絡(luò)學(xué)習(xí)算法，這些算法大致可以分為三類：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)。在理論上和實(shí)際應(yīng)用中都比較成熟的算法有以下三種：(1)誤差反向傳播算法(BackPropagation，簡(jiǎn)稱BP算法)；(2)模擬退火算法；(3)競(jìng)爭(zhēng)學(xué)習(xí)算法。目前為止，在訓(xùn)練多層前向神經(jīng)網(wǎng)絡(luò)的算法中，BP算法是最有影響的算法之一。但這種算法存在不少缺點(diǎn)，諸如收斂速度比較慢，或者只求得了局部極小點(diǎn)等等。因此，近年來，國(guó)外許多專家對(duì)網(wǎng)絡(luò)算法進(jìn)行深入研究，提出了許多改進(jìn)

3、的方法。主要有：(1)增加動(dòng)量法：在網(wǎng)絡(luò)權(quán)值的調(diào)整公式中增加一動(dòng)量項(xiàng)，該動(dòng)量項(xiàng)對(duì)某一時(shí)刻的調(diào)整起阻尼作用。它可以在誤差曲面出現(xiàn)驟然起伏時(shí)，減小振蕩的趨勢(shì)，提高網(wǎng)絡(luò)訓(xùn)練速度；(2)自適應(yīng)調(diào)節(jié)學(xué)習(xí)率：在訓(xùn)練中自適應(yīng)地改變學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。使用動(dòng)態(tài)學(xué)習(xí)率，從而加快算法的收斂速度；(3)引入陡度因子：為了提高BP算法的收斂速度，在權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)時(shí)，引入陡度因子，設(shè)法壓縮神經(jīng)元的凈輸入，使權(quán)值調(diào)整脫離平坦區(qū)。此外，

4、很多國(guó)內(nèi)的學(xué)者也做了不少有關(guān)網(wǎng)絡(luò)算法改進(jìn)方面的研究，并把改進(jìn)的算法運(yùn)用到實(shí)際中，取得了一定的成果：(1)王曉敏等提出了一種基于改進(jìn)的差分進(jìn)化算法，利用差分進(jìn)化算法的全局尋優(yōu)能力，能夠快速地得到BP神經(jīng)網(wǎng)絡(luò)的權(quán)值，提高算法的速度；(2)董國(guó)君等提出了一種基于隨機(jī)退火機(jī)制的競(jìng)爭(zhēng)層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，該算法將競(jìng)爭(zhēng)層神經(jīng)網(wǎng)絡(luò)的串行迭代模式改為隨機(jī)優(yōu)化模式，通過采用退火技術(shù)避免網(wǎng)絡(luò)收斂到能量函數(shù)的局部極小點(diǎn)，從而得到全局最優(yōu)值；(3)趙青提出一種分

5、層遺傳算法與BP算法相結(jié)合的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。將分層遺傳算法引入到前饋神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的早期訓(xùn)練中，再用BP算法對(duì)前期訓(xùn)練所得性能較優(yōu)的網(wǎng)絡(luò)權(quán)值、閾值進(jìn)行二次訓(xùn)練得到最終結(jié)果，該混合學(xué)習(xí)算法能夠較快地收斂到圖1生物神經(jīng)元結(jié)構(gòu)2.1.2神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型目前人們提出的神經(jīng)元模型己有很多，其中提出最早且影響最大的是1943年心理學(xué)家McCulloch和科學(xué)家W.PittS在分析總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出的M一P模型，如圖