受限玻爾茲曼機(jī)的改進(jìn)及其應(yīng)用.pdf

1、深度學(xué)習(xí)(Deep Learning),作為發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示的方法,引起了機(jī)器學(xué)習(xí)領(lǐng)域普遍的關(guān)注.在深度學(xué)習(xí)方法中,深度置信網(wǎng)(Deep Belief Network,DBN)是最著名的方法之一,并已經(jīng)成功地應(yīng)用到各種機(jī)器學(xué)習(xí)任務(wù).受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)是一個(gè)生成模型,能夠在無(wú)監(jiān)督學(xué)習(xí)場(chǎng)景下自動(dòng)提取數(shù)據(jù)特征.目前,RBM因其自身強(qiáng)大的特征提取能力以及作為深度置信網(wǎng)的基本

2、構(gòu)成模塊,引起了機(jī)器學(xué)習(xí)界的密切關(guān)注,在眾多領(lǐng)域中得到了廣泛的應(yīng)用.本文通過(guò)分析受限玻爾茲曼機(jī)的學(xué)習(xí)算法--對(duì)比散度(Contrastive Divergence,C-D),提出了RBM存在特征同質(zhì)化的傾向.針對(duì)此問(wèn)題,結(jié)合稀疏表示,本文嘗試對(duì)受限玻爾茲曼機(jī)進(jìn)行改進(jìn).
　　1.結(jié)合稀疏表示,本文我們使用arctan函數(shù)來(lái)迫使隱含單元稀疏,提出了新的稀疏RBM,稱(chēng)之為AtanRBM.AtanRBM使用arctan函數(shù)來(lái)約束隱含單元總

3、的激活概率來(lái)獲得稀疏表示,從而避免特征同質(zhì)化問(wèn)題的出現(xiàn).在本方法中,每個(gè)隱含單元的稀疏度水平能夠根據(jù)手頭的任務(wù)自動(dòng)地學(xué)習(xí).在MNIST數(shù)據(jù)集的實(shí)驗(yàn)表明,相對(duì)于RBM和稀疏受限玻爾茲曼機(jī)(Sparse Restricted Boltzmann Machine,SRBM),AtanRBM能夠?qū)W習(xí)到更加稀疏更有辨別力的特征.同時(shí),應(yīng)用AtanRBM預(yù)訓(xùn)練深度置信網(wǎng),深度置信網(wǎng)在MNIST數(shù)據(jù)集能夠取得不錯(cuò)的分類(lèi)效果.2.鑒于隱含單元之間可能存

4、在統(tǒng)計(jì)相關(guān)性,我們提出了基于彈性網(wǎng)絡(luò)的新RBM模型,稱(chēng)之為EN-RBM.其中,我們采取適當(dāng)?shù)牟呗詫椥跃W(wǎng)絡(luò)懲罰項(xiàng)引入RBM的對(duì)數(shù)似然函數(shù)中.該策略通過(guò)RBM隱含單元的特征的相似性進(jìn)行自適應(yīng)分組,將隱含單元分為兩組,并分別使用L1范數(shù)和L2范數(shù)對(duì)其相應(yīng)的隱含單元的激活概率進(jìn)行約束,以確保表示的稀疏和泛化能力.在MNIST數(shù)據(jù)集的實(shí)驗(yàn)表明,EN-RBM具備更強(qiáng)的非監(jiān)督學(xué)習(xí)能力.與此同時(shí),應(yīng)用EN-RBM構(gòu)建深度置信網(wǎng),深度置信網(wǎng)在MNIST