前饋神經(jīng)網(wǎng)絡(luò)的混合訓(xùn)練算法及其離群魯棒回歸問題研究.pdf

1、本論文主要對前饋神經(jīng)網(wǎng)絡(luò)混合訓(xùn)練算法進(jìn)行了研究.近些年,由于神經(jīng)網(wǎng)絡(luò)的興起,其學(xué)習(xí)算法成為一個(gè)非常熱門的研究領(lǐng)域之一.而混合訓(xùn)練算法的提出更是給該領(lǐng)域注入了新活力.因此,本文主要對該算法做了以下幾方面工作:
　　(1)首先介紹了前饋神經(jīng)網(wǎng)絡(luò)的混合訓(xùn)練算法及其正則化混合訓(xùn)練算法.混合訓(xùn)練算法是在一個(gè)程序中結(jié)合了基于梯度下降法計(jì)算隱層權(quán)值,同時(shí)利用奇異值分解法計(jì)算輸出層權(quán)值的綜合法，該算法的收斂速度大大優(yōu)于原有的二階梯度優(yōu)化法.而正則

2、化混合訓(xùn)練算法是為了降低因?yàn)槠娈愔捣纸鈨?yōu)化法中產(chǎn)生的大數(shù)量級權(quán)解提出的,該算法與混合算法相比,不僅降低了大權(quán)解而且獲得了較好的泛化性能.
　　(2)其次是對混合訓(xùn)練算法與正則化混合訓(xùn)練算法在UCI數(shù)據(jù)庫的三個(gè)實(shí)際數(shù)據(jù)集上做了應(yīng)用.實(shí)驗(yàn)結(jié)果表明混合訓(xùn)練算法在實(shí)際例子中也是非常有效的算法.
　　(3)最后討論了混合訓(xùn)練算法的離群魯棒回歸問題.當(dāng)訓(xùn)練數(shù)據(jù)中存在離群點(diǎn)時(shí),混合訓(xùn)練算法的魯棒性較差.為了解決該問題,我們提出了加權(quán)混合訓(xùn)