基于受限玻爾茲曼機的深度學習模型及其應用.pdf

1、深度學習是一種新式的多層神經網絡模型，擁有強大的表示能力，用途廣泛，引起了機器學習界普遍的關注。受限玻爾茲曼機(Restricted Boltzmann Machines，RBM)是一類基于概率的隨機神經網絡模型，具備兩層結構，滿足層間全連接，層內無連接，可以有效地提取特征，也可以用來預訓練傳統(tǒng)的前饋神經網絡，明顯地提高網絡的判別能力，如果堆疊多個 RBM形成的深度置信網絡(Deep Belief Network，DBN)，則能抽取到更

2、抽象的特征。鑒于RBM的優(yōu)勢，本文基于RBM的基本模型，從公式推導、算法、參數(shù)設置以及收斂性理論等基本內容展開，重點研究的工作包括以下幾個方面：
　　1.在RBM模型的基礎上，研究了兩種不同的稀疏RBM模型： SpRBM與LogSumRBM，并結合Polyak Averaging在隨機梯度下降時加速收斂的優(yōu)勢，對稀疏RBM模型的學習算法作了改進，從平均重構誤差和算法復雜度方面分析了算法改進之后模型求解結果之間的差異與優(yōu)勢。

3、　　2.借鑒RBM的兩種評估策略（重構誤差法和退火式重要性采樣法），將其應用到 SpRBM與LogSumRBM模型的評估中，實驗詳細驗證了評估的可行性與效率，從評估的角度表明了LogSumRBM模型比SpRBM模型更優(yōu)。
　　3.研究了DBN網絡的層數(shù)對模型性能的影響，確定了模型達到最優(yōu)時的層數(shù)(4層)，依次構建了4層與5層非線性深度網絡，使用基于RBM的不同深度網絡模型3DBN、3SpDBN、3LogSumDBN以及4DBN、4