

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、在機器學習中,數(shù)據(jù)表示是決定后續(xù)任務性能的關鍵所在。文本是數(shù)據(jù)的一大類,文本表示是許多自然語言處理任務的基礎工作,建立文本表示模型的目的是分析和表示文本的語義信息,得以在文本分類、機器翻譯、自動問答等自然語言處理任務上取得更好的效果。
在傳統(tǒng)的文本表示方法中,例如詞袋子模型,具有數(shù)據(jù)稀疏和容易產生維度災難等問題,模型的泛化能力較差。近年來,隨著機器學習的發(fā)展,各種神經網絡建立的文本表示模型開始出現(xiàn)?;谏窠浘W絡的文本表示模型是
2、將多種層次結構的文本,通過神經網絡的學習映射得到低維連續(xù)的向量,所有向量都在同一個低維向量空間中,提高了模型的表示能力。同時卷積神經網絡在各種神經網絡中具有較好的特征選取能力。然而,現(xiàn)有神經網絡文本表示模型存在著一些問題。首先,對于不同文本中相同的詞,在神經網絡中使用相同的單一的向量,在特征提取時勢必對一詞多義、同形異義等情況不能夠做出較好的區(qū)分,得到的特征不能較好地完成分類任務。然后,對于通常的神經網絡模型文本表示模型,無法有效地捕獲
3、不同文本單元和可變長度的組合序列的語義和結構信息,對文檔級別的文本進行處理時模型性能會大大的降低。根據(jù)上述存在的問題,本文分別從句子和文檔兩個層次,對比了多種神經網絡文本表示方法,根據(jù)現(xiàn)有文本表示方法的不足,提出了改進后的表示模型。以下是本文所做出的主要工作:
第一,提出了基于主題詞向量的卷積神經網絡句子文本表示模型。在該模型中,針對神經網絡輸入層的詞向量矩陣,利用了相同的詞在不同的文本中的語義信息應該有所差異的特性,為句子文
4、本中的每個詞語分配所在文本對應的主題信息,得到了每個詞的主題詞向量。同時為了不把不相關的主題信息引入到神經網絡中,在中間層加入了主題轉移矩陣過濾無用的主題信息,主題轉移矩陣是根據(jù)詞與主題的相似度和概率分布計算得到。通過主題轉移矩陣將主題詞向量融入神經網絡模型中,使模型可以消除詞在不同文本中的歧義。實驗證明了得到的文本表示在句子級別的情感分類任務上有更好的表現(xiàn)。
第二,提出基于長距離關聯(lián)的卷積神經網絡文檔文本表示模型。針對了通常
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于卷積神經網絡的文本表示建模方法研究.pdf
- 基于卷積神經網絡的短文本分類方法研究.pdf
- 基于卷積神經網絡的行人檢測方法研究.pdf
- 基于卷積神經網絡的中文文本分類研究.pdf
- 基于深度神經網絡的文本表示與分類研究.pdf
- 基于卷積神經網絡的圖像檢索方法.pdf
- 基于深度神經網絡的文本表示及其應用.pdf
- 基于卷積神經網絡的語種識別方法研究.pdf
- 基于深度卷積神經網絡的熟料顆粒方法研究.pdf
- 基于卷積神經網絡的水上目標檢測方法研究.pdf
- 基于卷積神經網絡的圖像目標檢測方法研究.pdf
- 基于級聯(lián)卷積神經網絡的人臉檢測方法研究.pdf
- 基于卷積神經網絡的自然場景文本識別系統(tǒng).pdf
- 基于卷積神經網絡的高光譜數(shù)據(jù)分類方法研究.pdf
- 基于卷積神經網絡的語音端點檢測方法研究.pdf
- 基于循環(huán)卷積神經網絡的實體關系抽取方法研究.pdf
- 基于卷積神經網絡的遙感圖像配準方法.pdf
- 基于稀疏表示和卷積神經網絡的水果圖像分類與實現(xiàn).pdf
- 基于卷積神經網絡的車型識別研究.pdf
- 基于卷積神經網絡的圖像檢索研究.pdf
評論
0/150
提交評論