2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩81頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、文本的向量表示是指從文本中挖掘和學(xué)習(xí)其中蘊含的語義信息,并將其表示為具體的實數(shù)值向量,以便計算機進一步處理后續(xù)自然語言處理任務(wù)。最簡單常用的文本表示方法為詞袋子模型(Bag-of-Words,BOW),這種簡單的表示方式雖然有效利用了詞頻信息,但是丟失了詞序信息,忽略了詞與詞之間的主題關(guān)聯(lián)性,且存在維度過高和數(shù)據(jù)稀疏的問題。近年來,研究者提出了詞向量(Word Embeddings)學(xué)習(xí)方法,它可以從大量無標注的數(shù)據(jù)中學(xué)習(xí)詞的語義信息,

2、并將詞表示為低維、稠密的連續(xù)值向量,且語義相近的詞在向量空間中的距離也更接近。詞向量技術(shù)為基于神經(jīng)網(wǎng)絡(luò)的文本表示學(xué)習(xí)提供了基礎(chǔ),通過神經(jīng)網(wǎng)絡(luò)組合句子或文檔中的詞向量,可以得到更深層的文本語義表示,從而更好地處理文本分類、文本聚類、情感分析、句子語義匹配、自動問答等具體任務(wù)。本文針對句子語義匹配、文檔主題分類和文檔主題聚類三個具體任務(wù),對句子和文檔的語義向量表示與建模進行了研究。
  在句子語義匹配中,一般通過神經(jīng)網(wǎng)絡(luò)將兩個句子的語

3、義表示為向量,然后比較它們之間的語義關(guān)系。在主流的句子匹配模型中,一般通過長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)對句子進行語義編碼。LSTM雖然有很強的時序建模能力,但循環(huán)結(jié)構(gòu)的串行計算方式也限制了模型的計算效率。鑒于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的并行計算特性,本文采用CNN對句子進行語義建模。為了提高CNN對信息的選擇和控制能力,我們借鑒LSTM的門

4、控機制思想,在CNN中同時引入輸出門(Output Gate)、遺忘門(Forget Gate)和記憶細胞(Memory Cell)。記憶細胞用來存儲前幾層得到的上下文信息,并在每一層通過遺忘門對記憶細胞進行更新;同時,輸出門用來對當前層得到的候選輸出值進行調(diào)節(jié)。實驗和分析表明,門控調(diào)節(jié)機制有效增強了CNN的語義建模能力。
  在文檔主題分類中,經(jīng)典的概率主題模型是常用的文本建模方法,它通過詞與詞的共現(xiàn)信息將文本映射到低維的潛在主

5、題語義空間。近年來,基于神經(jīng)網(wǎng)絡(luò)模型的文本分類逐漸成為主流,并取得了顯著的效果。鑒于有監(jiān)督神經(jīng)網(wǎng)絡(luò)顯著的區(qū)分性學(xué)習(xí)能力,本文利用神經(jīng)網(wǎng)絡(luò)提取文檔的深層語義特征向量。在此基礎(chǔ)上,本文將不同神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的語義信息或神經(jīng)網(wǎng)絡(luò)語義信息和主題模型的潛在主題信息相結(jié)合,然后利用支持向量機(Support Vector Machine,SVM)進行主題分類。實驗表明,不同的語義信息具有互補性,它們的融合能有效提升主題分類系統(tǒng)的準確性和魯棒性。

6、  文檔聚類屬于無監(jiān)督學(xué)習(xí)任務(wù),通常的文本聚類方法是先利用無監(jiān)督文本表示模型得到文檔的語義向量,再利用聚類算法對文檔進行歸類。相比于無監(jiān)督模型,有監(jiān)督模型可以生成更具主題區(qū)分性的特征。鑒于此,本文提出了基于共識分析的偽監(jiān)督語義向量學(xué)習(xí)方法。該方法利用預(yù)聚類生成的簇標簽作為樣本的偽標簽,引導(dǎo)有監(jiān)督神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。為了提高偽標簽的精確度,本文對兩組預(yù)聚類結(jié)果進行共識分析,選擇共識樣本作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。最終,利用神經(jīng)網(wǎng)絡(luò)提取文檔的語義向

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論