基于卷積神經網絡的文本表示建模方法研究.pdf

1、在機器學習中，數(shù)據(jù)表示是決定后續(xù)任務性能的關鍵所在。文本是數(shù)據(jù)的一大類，文本表示是許多自然語言處理任務的基礎工作，建立文本表示模型的目的是分析和表示文本的語義信息，得以在文本分類、機器翻譯、自動問答等自然語言處理任務上取得更好的效果。
　　在傳統(tǒng)的文本表示方法中，例如詞袋子模型，具有數(shù)據(jù)稀疏和容易產生維度災難等問題，模型的泛化能力較差。近年來，隨著機器學習的發(fā)展，各種神經網絡建立的文本表示模型開始出現(xiàn)?；谏窠浘W絡的文本表示模型是

2、將多種層次結構的文本，通過神經網絡的學習映射得到低維連續(xù)的向量，所有向量都在同一個低維向量空間中，提高了模型的表示能力。同時卷積神經網絡在各種神經網絡中具有較好的特征選取能力。然而，現(xiàn)有神經網絡文本表示模型存在著一些問題。首先，對于不同文本中相同的詞，在神經網絡中使用相同的單一的向量，在特征提取時勢必對一詞多義、同形異義等情況不能夠做出較好的區(qū)分，得到的特征不能較好地完成分類任務。然后，對于通常的神經網絡模型文本表示模型，無法有效地捕獲

3、不同文本單元和可變長度的組合序列的語義和結構信息，對文檔級別的文本進行處理時模型性能會大大的降低。根據(jù)上述存在的問題，本文分別從句子和文檔兩個層次，對比了多種神經網絡文本表示方法，根據(jù)現(xiàn)有文本表示方法的不足，提出了改進后的表示模型。以下是本文所做出的主要工作:
　　第一，提出了基于主題詞向量的卷積神經網絡句子文本表示模型。在該模型中，針對神經網絡輸入層的詞向量矩陣，利用了相同的詞在不同的文本中的語義信息應該有所差異的特性，為句子文

4、本中的每個詞語分配所在文本對應的主題信息，得到了每個詞的主題詞向量。同時為了不把不相關的主題信息引入到神經網絡中，在中間層加入了主題轉移矩陣過濾無用的主題信息，主題轉移矩陣是根據(jù)詞與主題的相似度和概率分布計算得到。通過主題轉移矩陣將主題詞向量融入神經網絡模型中，使模型可以消除詞在不同文本中的歧義。實驗證明了得到的文本表示在句子級別的情感分類任務上有更好的表現(xiàn)。
　　第二，提出基于長距離關聯(lián)的卷積神經網絡文檔文本表示模型。針對了通常