基于深度學(xué)習(xí)的文本特征表示及分類應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生出大量非結(jié)構(gòu)化文本，這些文本中蘊(yùn)含著豐富的信息，但由于其數(shù)據(jù)量龐大因此需要計(jì)算機(jī)自動(dòng)地提取這些文本中的有效信息。本文試圖利用深度學(xué)習(xí)方法去學(xué)習(xí)文本特征，并通過對(duì)模型的深化改進(jìn)利用提取到的特征對(duì)文本進(jìn)行深層處理，例如對(duì)文本數(shù)據(jù)進(jìn)行情感分析，過濾風(fēng)險(xiǎn)廣告詞條等。通過在微博、影評(píng)進(jìn)行情感分析以及在百度推廣廣告語(yǔ)料上進(jìn)行風(fēng)險(xiǎn)廣告過濾，結(jié)果證明本文提出的方法有效性。本文的主要工作有：
　　本文在總結(jié)了深度學(xué)習(xí)常用的網(wǎng)絡(luò)

2、結(jié)構(gòu)的基礎(chǔ)之上，提出了基于RAE神經(jīng)網(wǎng)絡(luò)和極性轉(zhuǎn)移的深度學(xué)習(xí)模型PRAE，該模型可以根據(jù)文本的結(jié)構(gòu)信息和語(yǔ)法語(yǔ)義信息學(xué)習(xí)到文本的表示，同時(shí)利用文本的標(biāo)簽進(jìn)行訓(xùn)練可用于文本的情感分析任務(wù)。該模型不但可以學(xué)習(xí)到詞語(yǔ)的詞向量表示，而且可以根據(jù)句子的樹形拓?fù)浣Y(jié)構(gòu)進(jìn)行網(wǎng)絡(luò)遞歸學(xué)習(xí)整個(gè)句子的向量表示。這樣可以利用模型進(jìn)行文本特征的自動(dòng)學(xué)習(xí)，從而避免了進(jìn)行人工特征工程構(gòu)建，可以節(jié)省大量人力。通過實(shí)驗(yàn)驗(yàn)證利用該深度學(xué)習(xí)模型學(xué)習(xí)到的文本特征進(jìn)行情感分類可

3、以達(dá)到很好的效果。
　　本文的另一項(xiàng)工作是結(jié)合LSTM（long short term memory）記憶單元與遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Networks，RSNN）提出LSTM-RSNN模型。該模型充分結(jié)合遞歸神經(jīng)網(wǎng)絡(luò)和LSTM記憶單元的優(yōu)點(diǎn)，利用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)句子的層次結(jié)構(gòu)信息，而LSTM記憶單元的加入則可以使得學(xué)習(xí)句子特征表示時(shí)可以充分利用句子的歷史信息。最后將LSTM-RSNN模型融合極性轉(zhuǎn)移模型形