基于改進的SAE和稀疏濾波算法的文本分類研究.pdf

1、基于改進的SAE和稀疏濾波算法的文本分類研究TheStudyofTextClassificationBasedontheImprovedSAESparseFilteringAlgithm申請人：崔嘉樂學科專業(yè)：應用數(shù)學研究方向：優(yōu)化理論、方法及應用學位類別：學術(shù)學位指導教師：裴志利教授論文提交日期：二○一七年六月分類號029ICS學校代碼10136學號201400113碩士學位論文摘要近年來，深度學習技術(shù)已成為人工智能領(lǐng)域的研究熱點，各

2、種深度模型廣泛應用于各個領(lǐng)域.深度神經(jīng)網(wǎng)絡模型是一個模擬人類大腦學習機制的過程，采用含有多個隱層的神經(jīng)網(wǎng)絡對圖像、文本、語音等數(shù)據(jù)進行特征學習，然后將學習到的特征與分類器進行結(jié)合從而進行分類識別等.論文以自編碼神經(jīng)網(wǎng)絡為研究對象，以文本分類為研究目的，主要從兩個方面提高網(wǎng)絡訓練速度及文本分類準確率，主要研究工作如下：首先，針對自編碼神經(jīng)網(wǎng)絡訓練過程中，各層神經(jīng)元之間的Sigmoid激活函數(shù)反向傳播梯度易消失的問題，在原有的SAE算法中引

3、用了一種新的激活函數(shù)ReLU，從而減少了計算量，提高了網(wǎng)絡的訓練速度；其次，針對自編碼神經(jīng)網(wǎng)絡學習算法在形成特征表達時需調(diào)節(jié)優(yōu)化大量參數(shù)使網(wǎng)絡訓練時間加長、BP算法易陷入局部最小的問題，將逐層貪婪初始化思想引入到稀疏濾波的學習算法中，提出了基于Layerwise思想的稀疏濾波特征學習算法.通過在Reuters21578文本分類標準測試集上的實驗驗證，表明在SAE算法中使用ReLU作為激活函數(shù)以及所提出的算法可以有效地提高網(wǎng)絡訓練速度，并