基于相關(guān)性分析的自動(dòng)編碼器結(jié)構(gòu)優(yōu)化研究.pdf

1、深度學(xué)習(xí)作為一個(gè)出色的機(jī)器學(xué)習(xí)模型，一經(jīng)提出就引起了研究人員極大的興趣。并在最近幾年學(xué)術(shù)界與工業(yè)界的大力研究發(fā)展以后，已經(jīng)成功應(yīng)用于諸多領(lǐng)域，比如自然語言處理、圖像識(shí)別、推薦系統(tǒng)和語音識(shí)別等。總體而言，深度學(xué)習(xí)是對(duì)早期神經(jīng)網(wǎng)絡(luò)模型的擴(kuò)展和改進(jìn)，對(duì)應(yīng)不同的應(yīng)用場(chǎng)景，深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)也各有不同。在各種具體的深度學(xué)習(xí)網(wǎng)絡(luò)模型中，自動(dòng)編碼器是一個(gè)相對(duì)比較基礎(chǔ)的網(wǎng)絡(luò)模型，因?yàn)樵撃Ｐ涂梢院芎玫貞?yīng)用于數(shù)據(jù)壓縮和數(shù)據(jù)降維等領(lǐng)域，所以同樣吸引了不少學(xué)者

2、的研究興趣。然而自動(dòng)編碼器的降維性能或者說是編碼性能，即將原本高維的圖像數(shù)據(jù)用經(jīng)過網(wǎng)絡(luò)處理以后的低維數(shù)據(jù)來表示，與其網(wǎng)絡(luò)結(jié)構(gòu)有著直接的相關(guān)性，不同的數(shù)據(jù)集會(huì)存在一個(gè)對(duì)應(yīng)該數(shù)據(jù)集的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)以使降維（編碼）效果達(dá)到最優(yōu)。選取一個(gè)與輸入數(shù)據(jù)集不匹配的網(wǎng)絡(luò)結(jié)構(gòu)，比如網(wǎng)絡(luò)節(jié)點(diǎn)太多或者太少，都會(huì)造成模型訓(xùn)練時(shí)間太長(zhǎng)浪費(fèi)大量計(jì)算機(jī)資源，或者降維效果不理想重構(gòu)誤差太大等問題。所以對(duì)應(yīng)不同數(shù)據(jù)集，自動(dòng)編碼器的最優(yōu)網(wǎng)絡(luò)選取是非常重要的。自動(dòng)編碼器屬于前

3、饋神經(jīng)網(wǎng)絡(luò)模型，對(duì)于前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化有暴力法、修剪法、網(wǎng)絡(luò)構(gòu)建算法和遺傳算法等現(xiàn)已提出的算法，但這些算法普遍適用于網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單的早期神經(jīng)網(wǎng)絡(luò)模型，并具有計(jì)算復(fù)雜度高或者收斂速度慢等缺點(diǎn)。所以如何自適應(yīng)地確定自動(dòng)編碼器這類具有大量網(wǎng)絡(luò)節(jié)點(diǎn)和多個(gè)隱藏層的深度學(xué)習(xí)網(wǎng)絡(luò)模型的最佳結(jié)構(gòu)仍然是一個(gè)急需解決的問題。本文提出了一種基于網(wǎng)絡(luò)節(jié)點(diǎn)權(quán)重相關(guān)性分析的方法來確定自動(dòng)編碼器的近似最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)提出的方法也適用于與自動(dòng)編碼器類似的其他深