帶光滑正則項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性分析.pdf

1、博士學(xué)位論文帶光滑正則項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性分析ConvergenceAnalysisofLearningAlgorithmswithSmoothingRegularizationforFeedforwardNeuralNetworks作者姓名：學(xué)科、專業(yè)：學(xué)號(hào)：指導(dǎo)教師：完成日期：范欽偉計(jì)算數(shù)學(xué)專業(yè)11001030吳微教授2014年5月19日大連理工大學(xué)DalianUniversityofTechnology大連理工大學(xué)博士學(xué)

2、位論文摘要鑒于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性映射能力，人工神經(jīng)網(wǎng)絡(luò)近幾十年來得到了快速的發(fā)展。在智能信息處理，模式識(shí)別，特征提取，壓縮感知等諸多領(lǐng)域已有成功應(yīng)用。梯度下降法是前饋神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)算法，主要有兩種學(xué)習(xí)方式：批處理和在線學(xué)習(xí)。但是訓(xùn)練速度慢是反向傳播神經(jīng)網(wǎng)絡(luò)(BP網(wǎng)絡(luò))的一個(gè)主要缺陷。已有的研究成果表明，訓(xùn)練過程中，滿足逼近精度要求的前提下，較小規(guī)模的網(wǎng)絡(luò)，其泛化表現(xiàn)較好。為了克服BP網(wǎng)絡(luò)訓(xùn)練速度慢，泛化能力差的缺陷，在更新公式中加

3、入動(dòng)量項(xiàng)、懲罰項(xiàng)(也稱為正則項(xiàng))是常用的改進(jìn)辦法。已有文獻(xiàn)多采用L2形式的懲罰項(xiàng)，起到了壓制權(quán)值過大增長的目的，而加入動(dòng)量項(xiàng)則加快了訓(xùn)練速度。但如何能簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，取得較好的稀疏化效果，降低成本，也是神經(jīng)網(wǎng)絡(luò)優(yōu)化的一個(gè)重要方面。最近流行的￡l／2正則化方法在稀疏效果方面有著獨(dú)特的優(yōu)勢(shì)。但由于所用誤差函數(shù)在原點(diǎn)附近不光滑，因此收斂性分析遇到困難。且數(shù)值試驗(yàn)顯示在迭代過程中出現(xiàn)了振蕩現(xiàn)象。為此我們采用光滑化技術(shù)，解決了這一難題。本文的研究內(nèi)

4、容著重于把L，／2正則化方法和動(dòng)量項(xiàng)方法引入到前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中來，以改進(jìn)網(wǎng)絡(luò)性能。同時(shí)我們給出算法的收斂性分析。本文的具體研究內(nèi)容概括如下：1第一章回顧神經(jīng)網(wǎng)絡(luò)相關(guān)的背景知識(shí)。2第二章考慮帶光滑￡l，2正則項(xiàng)的三層前饋神經(jīng)網(wǎng)絡(luò)批處理算法的收斂性。首先證明了網(wǎng)絡(luò)誤差函數(shù)的單調(diào)性，接著給出了改進(jìn)后算法的強(qiáng)、弱收斂性定理的嚴(yán)格證明。通過光滑化誤差函數(shù)，克服了非光滑化Ll，2正則化算法帶來的誤差函數(shù)、梯度范數(shù)在數(shù)值試驗(yàn)中出現(xiàn)的震蕩現(xiàn)象。數(shù)

5、值試驗(yàn)驗(yàn)證了理論結(jié)果，并且比較試驗(yàn)顯示改進(jìn)后算法在諸多方面更有優(yōu)勢(shì)。3第三章給出了帶光滑Ll／2正則項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)在線學(xué)習(xí)方式下的收斂性分析。無正則項(xiàng)時(shí)現(xiàn)有文獻(xiàn)在關(guān)于網(wǎng)絡(luò)收斂性證明中需要權(quán)值有界這一假設(shè)條件，但現(xiàn)實(shí)中這一條件比較苛刻，無法驗(yàn)證。本文嚴(yán)格證明了帶光滑Ll／2正則項(xiàng)時(shí)前饋神經(jīng)網(wǎng)絡(luò)權(quán)值學(xué)習(xí)過程中的有界性，使得證明神經(jīng)網(wǎng)絡(luò)算法收斂性的假設(shè)條件得到較大程度的弱化。我們還嚴(yán)格證明了該在線神經(jīng)網(wǎng)絡(luò)算法的強(qiáng)、弱收斂性。4第四章研究了帶光