基于自動編碼器的半監(jiān)督表示學(xué)習與分類學(xué)習研究.pdf

1、近年來，以深度學(xué)習為代表的自動編碼器表示學(xué)習在機器學(xué)習預(yù)測和識別領(lǐng)域取得了顯著的成就。在現(xiàn)階段以自動編碼器為基礎(chǔ)的表示學(xué)習研究中，大部分學(xué)習采用兩階段的學(xué)習框架，第一階段為無監(jiān)督的特征學(xué)習過程，第二階段為有監(jiān)督分類學(xué)習。在此過程中，為了適應(yīng)訓(xùn)練數(shù)據(jù)，在第一階段繼承了特征學(xué)習良好性能的初始模型權(quán)重將在第二階段的監(jiān)督學(xué)習過程中，由于沒有對原本特征的表示約束而發(fā)生改變。也就是說，第二階段的有監(jiān)督學(xué)習會降低第一階段無監(jiān)督特征學(xué)習的學(xué)習效果。同時

2、第一階段特征學(xué)習并未用到任何監(jiān)督學(xué)習的信息，削弱了第二步監(jiān)督學(xué)習時目標信息對于非監(jiān)督學(xué)習的啟示性為了充分發(fā)揮特征學(xué)習和監(jiān)督學(xué)習的優(yōu)勢，本文針對兩階段學(xué)習框架會導(dǎo)致特征學(xué)習的效果會被削弱的缺點，提出了一種同時進行特征學(xué)習和有監(jiān)督的分類學(xué)習的聯(lián)合框架。同時在此框架的基礎(chǔ)上，本文提出了半監(jiān)督自動編碼器模型——一種基于自動編碼器的半監(jiān)督學(xué)習分類模型，該模型不僅能確保在特征學(xué)習中得到的原始數(shù)據(jù)完整的“語義”信息，而且能在監(jiān)督學(xué)習中很好的適應(yīng)訓(xùn)練數(shù)

3、據(jù)。另外，根據(jù)本文提出的半監(jiān)督自動編碼器模型，文章提出了求解該模型的BP算法，該算法將特征學(xué)習參數(shù)和分類學(xué)習參數(shù)同時進行優(yōu)化，然后分別通過梯度下降方法對模型中的分類器和自動編碼器的參數(shù)進學(xué)習。
　　實驗部分，本文使用MNIST數(shù)據(jù)集對分離學(xué)習框架和聯(lián)合學(xué)習框架中，第一階段特征參數(shù)的變化情況進行可視化驗證，說明改進模型對特征學(xué)習效果的保證。同時使用了UCI機器學(xué)習數(shù)據(jù)庫的四個公共數(shù)據(jù)集——圖像分割數(shù)據(jù)集（Image），約翰霍普金斯大

4、學(xué)的電離層數(shù)據(jù)集(Ionosphere)，孤立的字母語音識別數(shù)據(jù)集(Isolet)和圖像識別數(shù)據(jù)集(Lird)進行實驗。實驗中運用邏輯回歸模型（LogisticRegression，LR）與分離學(xué)習模型（DisjointLearningModel，DLM）作為基準方法與本文提出的半監(jiān)督自動編碼器模型（Semi-SupervisedAuto-Encoder，SSA）進行比較，從分類的準確性、隱層神經(jīng)元數(shù)量對分類效果影響、以及迭代次數(shù)、訓(xùn)練