受限玻爾茲曼機的改進及其應用.pdf

1、深度學習(Deep Learning),作為發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示的方法,引起了機器學習領域普遍的關注.在深度學習方法中,深度置信網(wǎng)(Deep Belief Network,DBN)是最著名的方法之一,并已經(jīng)成功地應用到各種機器學習任務.受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)是一個生成模型,能夠在無監(jiān)督學習場景下自動提取數(shù)據(jù)特征.目前,RBM因其自身強大的特征提取能力以及作為深度置信網(wǎng)的基本

2、構成模塊,引起了機器學習界的密切關注,在眾多領域中得到了廣泛的應用.本文通過分析受限玻爾茲曼機的學習算法--對比散度(Contrastive Divergence,C-D),提出了RBM存在特征同質化的傾向.針對此問題,結合稀疏表示,本文嘗試對受限玻爾茲曼機進行改進.
　　1.結合稀疏表示,本文我們使用arctan函數(shù)來迫使隱含單元稀疏,提出了新的稀疏RBM,稱之為AtanRBM.AtanRBM使用arctan函數(shù)來約束隱含單元總

3、的激活概率來獲得稀疏表示,從而避免特征同質化問題的出現(xiàn).在本方法中,每個隱含單元的稀疏度水平能夠根據(jù)手頭的任務自動地學習.在MNIST數(shù)據(jù)集的實驗表明,相對于RBM和稀疏受限玻爾茲曼機(Sparse Restricted Boltzmann Machine,SRBM),AtanRBM能夠學習到更加稀疏更有辨別力的特征.同時,應用AtanRBM預訓練深度置信網(wǎng),深度置信網(wǎng)在MNIST數(shù)據(jù)集能夠取得不錯的分類效果.2.鑒于隱含單元之間可能存

4、在統(tǒng)計相關性,我們提出了基于彈性網(wǎng)絡的新RBM模型,稱之為EN-RBM.其中,我們采取適當?shù)牟呗詫椥跃W(wǎng)絡懲罰項引入RBM的對數(shù)似然函數(shù)中.該策略通過RBM隱含單元的特征的相似性進行自適應分組,將隱含單元分為兩組,并分別使用L1范數(shù)和L2范數(shù)對其相應的隱含單元的激活概率進行約束,以確保表示的稀疏和泛化能力.在MNIST數(shù)據(jù)集的實驗表明,EN-RBM具備更強的非監(jiān)督學習能力.與此同時,應用EN-RBM構建深度置信網(wǎng),深度置信網(wǎng)在MNIST