深度卷積網(wǎng)絡預訓練策略的研究與應用.pdf

1、深度學習，也即多層神經(jīng)網(wǎng)絡模型，是機器學習和人工智能研究的最為火熱的研究領域之一。近些年來，深度學習在解決圖像識別、視頻處理、自然語言處理、語音識別甚至游戲人工智能等多個問題上均取得了突破性的進展。更準確地說，一個深度神經(jīng)網(wǎng)絡可以在這些領域的識別問題上達到接近人類的水平，這使得它廣受學術界和工業(yè)界的關注。
　　到目前為止，深度學習的研究有兩個核心問題：1）深度學習的理論框架；2）深度網(wǎng)絡模型的訓練和優(yōu)化方法。一個與這兩個核心問題是

2、緊密相關的技術就是預訓練初始化技術。預訓練初始化，最早由Hinton在深度置信網(wǎng)絡的訓練過程中提出，并被多個早期實驗工作證明其有效性。具體來說，一個好的預訓練初始化策略，不僅僅需要從對網(wǎng)絡的原理出發(fā)來合理地進行無監(jiān)督訓練，而且需要減輕網(wǎng)絡在訓練過程中的優(yōu)化困難。
　　本文的主要內容是針對卷積神經(jīng)網(wǎng)絡預訓練策略的研究。
　　本文整理和總結了所有卷積神經(jīng)網(wǎng)絡研究方面的重要進展：從網(wǎng)絡結構設計到優(yōu)化算法到權值初始化。本文重點分析了

3、初始化算法，從每個算法的設計思路出發(fā)，結合理論推導，并給出了完整的算法流程。最后本文通過結合現(xiàn)有的初始化算法的研究成果，提出了針對卷積神經(jīng)網(wǎng)絡的預訓練方法——PCAUV算法。
　　本文的主要工作如下：
　　1.通過實驗的方法，分析和總結了卷積核在優(yōu)化過程中的變化，并肯定了卷積核初始化的有效性和必要性。
　　2.通過實驗的方法，分析和評估了訓練好的卷積網(wǎng)絡中卷積核的重要性，并提出了影響卷積核重要性的因素的猜想。