基于深度自動(dòng)編碼器的特征提取算法研究.pdf

1、機(jī)器學(xué)習(xí)在人工智能領(lǐng)域中扮演著極為重要的角色，它使得機(jī)器能夠?qū)Ω鞣N事物構(gòu)建模型，通過(guò)這些模型，機(jī)器就能夠?qū)ξ覀兊氖澜缧纬伞罢J(rèn)識(shí)”。近年來(lái)，機(jī)器學(xué)習(xí)能力得到了突飛猛進(jìn)的發(fā)展，一方面歸功于計(jì)算機(jī)硬件技術(shù)迅速發(fā)展使得存儲(chǔ)成本大幅降低、計(jì)算速度大幅提升;更重要的是關(guān)于機(jī)器學(xué)習(xí)算法的研究獲得了突破性進(jìn)展，尤其是近年深度學(xué)習(xí)算法的提出，使得機(jī)器對(duì)世界的認(rèn)識(shí)能力有了質(zhì)的飛躍。
　　深度自動(dòng)編碼器是深度學(xué)習(xí)算法之一，它是一種深層神經(jīng)網(wǎng)絡(luò)，其最大的

2、特點(diǎn)就是通過(guò)一種非監(jiān)督的逐層預(yù)訓(xùn)練使得網(wǎng)絡(luò)有一個(gè)較好的初始值，再通過(guò)有監(jiān)督的微調(diào)訓(xùn)練調(diào)整整個(gè)網(wǎng)絡(luò)的權(quán)值，最終能夠有效地提取數(shù)據(jù)中關(guān)鍵信息，形成特征。本文在研究深度自動(dòng)編碼器算法的同時(shí)，也注重研究各類(lèi)常用特征提取算法與分類(lèi)器算法，通過(guò)實(shí)驗(yàn)比較各類(lèi)算法差異，并探索改進(jìn)深度自動(dòng)編碼器的方式。本論文主要研究?jī)?nèi)容如下:
　　(1)研究了多種征特征提取算法，包括經(jīng)典的特征提取算法:主成分分析、線性判別分析、核主成分分析，為區(qū)別深度學(xué)習(xí)算法，本

3、文中將其概括為“淺層”學(xué)習(xí)算法。除了深度自動(dòng)編碼器外，本文還研究了基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)算法，包括自動(dòng)編碼器的幾種改進(jìn)。通過(guò)圖像識(shí)別實(shí)驗(yàn)對(duì)各個(gè)算法性能進(jìn)行比較。
　　(2)研究了多種分類(lèi)器，包括Softmax、支持向量機(jī)以及K最近鄰。將深度自動(dòng)編碼器與各種分類(lèi)器結(jié)合，通過(guò)實(shí)驗(yàn)比較分類(lèi)性能。
　　(3)為了進(jìn)一步提升深度自動(dòng)編碼器的特征學(xué)習(xí)能力，提出一種基于棧式去噪自動(dòng)編碼器的邊際Fisher分析算法，該算法將邊際Fis