基于正則化的深度學(xué)習(xí)模型研究.pdf

1、受人體大腦中深度體系的啟發(fā),幾十年來(lái)人工神經(jīng)網(wǎng)絡(luò)研究者試圖訓(xùn)練一個(gè)深度多層人工神經(jīng)網(wǎng)絡(luò),都以失敗而告終。2006年深度體系方面的研究有了突破性進(jìn)展:多倫多大學(xué)的Hinton教授和他的同事提出了深度信念網(wǎng)絡(luò)模型,這個(gè)模型通過(guò)使用自底向上的基于貪婪策略的非監(jiān)督預(yù)處理,使得深度體系的訓(xùn)練在一定程度上避免陷入局部極值。自此之后,各種基于自動(dòng)編碼和受限制的玻爾茲曼機(jī)的深度體系模型相繼被提出。這些深度體系模型已經(jīng)成功應(yīng)用于數(shù)字識(shí)別、語(yǔ)音識(shí)別、文本分

2、類(lèi)、信息檢索等眾多領(lǐng)域。因?yàn)镽BM(受限制的玻爾茲曼機(jī))模型生成的數(shù)據(jù)表達(dá)比原始數(shù)據(jù)要好,現(xiàn)階段大部分深度體系的預(yù)處理都是用RBM模型實(shí)現(xiàn)的。然而,最近一些學(xué)者將RBM作為一個(gè)獨(dú)立的分類(lèi)器進(jìn)行了分析,并且通過(guò)將生成型RBM和判別型RBM結(jié)合S實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)算法。自此,RBM作為一個(gè)獨(dú)立的模型已經(jīng)成功應(yīng)用于眾多領(lǐng)域。
　　用于分類(lèi)的RBM模型可以看成擁有輸入層、隱藏層和輸出層三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。用于分類(lèi)的RBM模型的訓(xùn)練過(guò)程可以看作

3、數(shù)據(jù)降維的過(guò)程,高維數(shù)據(jù)映射到低維數(shù)據(jù)過(guò)程中,數(shù)據(jù)之間的內(nèi)蘊(yùn)結(jié)構(gòu)有沒(méi)有保持不變,用于分類(lèi)的RBM并不能保證這一點(diǎn),基于監(jiān)督學(xué)習(xí)的平滑性假設(shè)理論,我們引入正則項(xiàng),讓降維過(guò)程能更加平滑。最近,用半監(jiān)督學(xué)習(xí)解決標(biāo)記數(shù)據(jù)過(guò)少問(wèn)題成為一個(gè)研究熱點(diǎn),本文通過(guò)將RBM模型與EM算法結(jié)合來(lái)解決這個(gè)問(wèn)題,同時(shí),將統(tǒng)計(jì)學(xué)習(xí)和流行學(xué)習(xí)相結(jié)合實(shí)現(xiàn)RBM的半監(jiān)督學(xué)習(xí),也就是通過(guò)把流行學(xué)習(xí)誘導(dǎo)出來(lái)的目標(biāo)函數(shù)作為一個(gè)正則項(xiàng)添加到RBM的優(yōu)化準(zhǔn)則中,形成一個(gè)新的模型: