深度學(xué)習(xí)算法研究及其在圖像分類上的應(yīng)用.pdf

1、近年來，深度學(xué)習(xí)（Deep Learning，DL）的研究日益受到人們的廣泛關(guān)注。與傳統(tǒng)的淺層網(wǎng)絡(luò)模型相比，深度學(xué)習(xí)模型的多層網(wǎng)絡(luò)結(jié)構(gòu)能夠更加有效地表達復(fù)雜函數(shù)，從而學(xué)習(xí)到表征能力更強的特征，將深度學(xué)習(xí)應(yīng)用到圖像的分類中，可以有效地提高分類的精度。然而，深度學(xué)習(xí)在實際應(yīng)用中仍然面臨著嚴峻的挑戰(zhàn)：深度學(xué)習(xí)的重要基礎(chǔ)單元模型——受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）在訓(xùn)練過程中，存在計算復(fù)雜度高、

2、模型對訓(xùn)練數(shù)據(jù)的似然度不夠高等問題，導(dǎo)致深度學(xué)習(xí)模型訓(xùn)練時間較長。本文以深度學(xué)習(xí)算法為研究內(nèi)容，以基于深層網(wǎng)絡(luò)模型的圖像分類方法為研究目標，主要作了以下幾方面的工作：
　?。?）介紹本文的課題背景和研究意義，闡述深度學(xué)習(xí)的發(fā)展歷程、深度學(xué)習(xí)的基本結(jié)構(gòu)單元以及深度學(xué)習(xí)常用的深度模型等相關(guān)技術(shù)，調(diào)研并分析國內(nèi)外關(guān)于深度學(xué)習(xí)應(yīng)用的研究發(fā)展現(xiàn)狀，對RBM現(xiàn)存的問題進行分析。
　?。?）針對受限玻爾茲曼機訓(xùn)練時傳統(tǒng)學(xué)習(xí)率的收斂速度慢的

3、問題，提出一種基于Kaiser窗的受限玻爾茲曼機自適應(yīng)學(xué)習(xí)率調(diào)整算法，利用Kaiser窗可以自由選擇主瓣寬度和旁瓣高度之間比重的特性以及訓(xùn)練過程中誤差增量的變化給出學(xué)習(xí)率自適應(yīng)變化公式，并設(shè)置誤差控制因子和慣性因子，從而更有效地自適應(yīng)調(diào)整學(xué)習(xí)率。仿真結(jié)果表明，基于Kaiser窗的受限玻爾茲曼機學(xué)習(xí)率調(diào)整算法，可以顯著提高受限玻爾茲曼機的收斂速度和學(xué)習(xí)能力。
　?。?）針對受限玻爾茲曼機訓(xùn)練時歸一化參數(shù)的高計算復(fù)雜度問題，提出一種基

4、于交替迭代算法的改進受限玻爾茲曼機，利用交替迭代算法將模型分布參數(shù)和歸一化參數(shù)交替進行計算，通過反復(fù)迭代直至收斂來求得受限玻爾茲曼機的模型分布參數(shù)，同時設(shè)置相應(yīng)的閾值來保證收斂速度。仿真結(jié)果表明，相較于并行回火、持續(xù)對比散度等算法訓(xùn)練得到的RBM模型，基于交替迭代算法的改進受限玻爾茲曼機對訓(xùn)練數(shù)據(jù)具有更高的似然度。
　?。?）針對淺層模型無法有效地表達圖像多層語義特征的問題，將深度學(xué)習(xí)算法應(yīng)用于圖像分類中，提出一種基于多層RBM網(wǎng)