分布式表示與組合模型在中文自然語言處理中的應用.pdf

1、近年來詞的分布式表示與組合模型在自然語言處理領域中取得了諸多突破性的成果。詞的分布式表示使用實值向量對詞進行建模，可以從無標記語料庫學到詞的語法和語義信息，而組合模型可以對詞間或詞內(nèi)語義組合進行建模。在英文自然語言處理中，這些模型在語言模型、詞性標注與文本分類等自然語言處理任務的性能超越了其他模型。受限于語言特性與語料資源，在相關中文任務中，這些模型并沒有在性能上超越其他模型。
　　本文針對中文分布式表示與組合模型中相關研究缺乏大

2、規(guī)模無標注語料的情況，構建了基于新聞的大規(guī)模無標記語料庫用于訓練詞的表示向量，并在此基礎上結合中文的字沒有明確語義的特點，對詞內(nèi)和詞間的語義組合進行建模。具體來說，本文主要進行了如下工作:
　　(1)針對中文沒有公開的大規(guī)模語料供字詞表示學習的現(xiàn)狀，本文構造了一個大規(guī)模新聞語料庫。該語料庫規(guī)模大約是此前中文相關研究中使用的語料庫規(guī)模的25～9000倍。使用該語料庫訓練得到的詞的分布式表示，在詞語類比推理任務上超過了此前相關研究的最

3、好結果。
　　(2)針對詞向量不能很好表示未登錄詞和低頻詞的問題，本文結合中文的語言特性，提出了詞的拆分模型和基于前饋神經(jīng)網(wǎng)絡的組合語義模型。詞的拆分模型可以根據(jù)語料庫中的統(tǒng)計信息對詞的內(nèi)在結構進行拆分，獲得詞的內(nèi)部結構;而組合語義模型可以對詞的內(nèi)部結構間的語義組合進行建模。實驗表明組合語義模型可以很好地對低頻詞和未登錄詞進行表示。
　　(3)構造卷積神經(jīng)網(wǎng)絡對詞間語義組合進行建模，并在多個文本分類和情感分析數(shù)據(jù)集上進行驗證