基于改進(jìn)AGP算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究.pdf

1、隨著社會的不斷進(jìn)步,工業(yè)快速的發(fā)展,使得神經(jīng)網(wǎng)絡(luò)在生活中許多領(lǐng)域得到了廣泛的應(yīng)用,不過在很多領(lǐng)域,神經(jīng)網(wǎng)絡(luò)的應(yīng)用并不能完全發(fā)揮網(wǎng)絡(luò)的性能,比如說,網(wǎng)絡(luò)不能得到很好的泛化,擬合精度低,收斂速度慢,訓(xùn)練時(shí)間比較長,誤差值偏大。近年來,人們發(fā)現(xiàn)自適應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)影響著整個(gè)網(wǎng)絡(luò)的性能和效率,所以優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是當(dāng)前的一個(gè)亟待解決的問題。為此科學(xué)家們提出了一些新算法和改進(jìn)算法來最大化的發(fā)揮網(wǎng)絡(luò)性能。
　　針對以上的不足,本文基于張米娜的A

2、GP算法提出了改進(jìn)AGP算法,新型剪枝算法以及新型增長算法。其中新型剪枝算法采用基于貢獻(xiàn)值與輸出連接的權(quán)重來修剪節(jié)點(diǎn),新型增長算法就是采用基于貢獻(xiàn)值的方差相關(guān)度差異程度對節(jié)點(diǎn)進(jìn)行增長,而改進(jìn)AGP算法就是先用新型剪枝算法進(jìn)行精簡結(jié)構(gòu),如果不能達(dá)到網(wǎng)絡(luò)性能要求,那么就采用新型增長算法進(jìn)行增加節(jié)點(diǎn),如果還不能滿足要求,這時(shí)網(wǎng)絡(luò)訓(xùn)練就會迭代,直到滿足網(wǎng)絡(luò)的性能要求。為了檢驗(yàn)本文提出的算法是否有效,本文對每個(gè)算法都跟其他算法做了對比實(shí)驗(yàn)仿真,并

3、且將AGP算法應(yīng)用到了交通運(yùn)輸能力以及國內(nèi)旅游總產(chǎn)值預(yù)測方面,仿真實(shí)驗(yàn)表明本文提出的新算法能夠在實(shí)際應(yīng)用中獲得了預(yù)期的效果,在訓(xùn)練時(shí)間、收斂速度、泛化能力以及誤差等方面顯示了其優(yōu)越性。
　　本文的研究工作主要有以下幾點(diǎn):
　　第一,本文系統(tǒng)的描述了剪枝算法、構(gòu)造法以及混合算法的國內(nèi)外研究現(xiàn)狀以及一些不足,并對每個(gè)算法的潛在應(yīng)用以及分類作了詳細(xì)介紹。
　　第二,對神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識進(jìn)行了簡單的介紹(包括簡介、發(fā)展史、結(jié)構(gòu)特

4、征以及應(yīng)用),分析了BP算法,并闡述了BP的核心思想。
　　第三,分析了影響網(wǎng)絡(luò)性能的因素,包括訓(xùn)練時(shí)間、收斂速度、泛化能力以及誤差等方面。
　　第四,基于以上不足,提出了一種基于貢獻(xiàn)值與輸出連接的權(quán)重來修剪節(jié)點(diǎn)的新型剪枝算法,提高了修剪的效率的同時(shí),也保證了網(wǎng)絡(luò)的性能。本文提出了新型增長算法,它是基于貢獻(xiàn)值的方差相關(guān)度,直接復(fù)制那些相關(guān)度高的節(jié)點(diǎn),不但使得網(wǎng)絡(luò)收斂速度加快,而且也防止會出現(xiàn)過度擬合現(xiàn)象,并且做了相關(guān)對比實(shí)驗(yàn)