基于深度玻爾茲曼機(jī)的特征學(xué)習(xí)算法研究.pdf

1、近幾年來，深度學(xué)習(xí)在圖像、語音、視頻等非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域中獲得了前所未有的成功，已成為人工智能和機(jī)器學(xué)習(xí)研究的熱點(diǎn)。深層網(wǎng)絡(luò)的優(yōu)越性主要體現(xiàn)在更豐富表述信息的特征且具有更大的知識表示空間對客觀世界進(jìn)行表示。
　　伴隨著大數(shù)據(jù)的到來，數(shù)據(jù)的獲取變得更加容易，數(shù)據(jù)的格式也花樣輩出，其學(xué)習(xí)的模型結(jié)構(gòu)也越來越復(fù)雜，針對深度學(xué)習(xí)模型算法效率的提升的研究越來越受到關(guān)注?，F(xiàn)如今常用的深層網(wǎng)絡(luò)模型中，深度信念網(wǎng)絡(luò)(Deep Belief Netwo

2、rks，DBN)是較為成熟的模型，它是由多個(gè)受限波爾茲曼機(jī)堆疊而成，通過隱藏層逐層向上抽取使信息能更抽象表達(dá)，故深層網(wǎng)絡(luò)對輸入有更好的描述能力。海量的數(shù)據(jù)可以使其深度學(xué)習(xí)模型的學(xué)習(xí)算法特征提取性能不斷提高，所以在算法提升方面的研究顯得尤為重要。
　　深度學(xué)習(xí)本質(zhì)上仍然屬于監(jiān)督學(xué)習(xí)模型。通過大量的訓(xùn)練實(shí)例來不斷的訓(xùn)練神經(jīng)元之間的權(quán)重，最終使得整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大的概率來生成訓(xùn)練數(shù)據(jù)，成功的深度學(xué)習(xí)應(yīng)用往往要求較大的高質(zhì)量的訓(xùn)練集。由

3、于原始數(shù)據(jù)存在的錯(cuò)誤和不規(guī)范，在現(xiàn)實(shí)中往往還需要對數(shù)據(jù)進(jìn)行預(yù)處理。在當(dāng)今大數(shù)據(jù)時(shí)代，這個(gè)預(yù)處理工作往往占據(jù)了全部項(xiàng)目的大部分時(shí)間和資源，大大限制了深度學(xué)習(xí)的實(shí)際應(yīng)用。
　　本文主要貢獻(xiàn)在于:
　　1.提出了一種新的基于深度置信網(wǎng)絡(luò)模型學(xué)習(xí)算法改進(jìn)，能夠使模型提取特征的效率提高，使模型能更優(yōu)的描述數(shù)據(jù)集的幾何表示。在向上逐層貪婪算法中加入閾值來選擇性的更新全局參數(shù)。在反向傳播微調(diào)算法中在微調(diào)后期對網(wǎng)絡(luò)最高層和最高N層的參數(shù)周期

4、性更新迭代，這兩種形式相結(jié)合來提高學(xué)習(xí)效率，減少模型的學(xué)習(xí)時(shí)間，并在最終的特征提取的效果上與改進(jìn)前幾乎相同。
　　2.針對特定假設(shè)條件下，引入了半監(jiān)督的思想來解決一些特殊數(shù)據(jù)集的原始標(biāo)識缺失導(dǎo)致的模型初始訓(xùn)練困難，這樣能更有效的解決現(xiàn)實(shí)中時(shí)間和資源的浪費(fèi)。結(jié)合半監(jiān)督學(xué)習(xí)的思想，使用較少的訓(xùn)練集提高深度網(wǎng)絡(luò)模型的分類準(zhǔn)確性顯得尤為重要。由于改進(jìn)學(xué)習(xí)算法的方式有很多，其核心都是訓(xùn)練合適的權(quán)重使得整個(gè)網(wǎng)絡(luò)的能量盡可能得達(dá)到最大值。