基于神經網絡的通用自然語言標注模型.pdf

1、標注任務是自然語言處理中的基礎任務，有著廣泛的應用?，F(xiàn)有的標注方法普遍存在兩種缺陷：1、通用性不高，模型表現(xiàn)很依賴針對具體任務設計的輸入特征，對于新任務往往需要花費大量時間精力來重新設計、實驗篩選特征以獲取一個相對滿意的表現(xiàn)。2、模型預測當前詞的標注時只考慮了一個有限寬度的上下文窗口內的信息，未能利用整句的信息。
　　針對這兩種缺陷，本文提出了一種基于雙向長短時記憶（BLSTM）循環(huán)神經網絡（RNN）的通用標注模型。BLSTM-R

2、NN具有強大的時序建模能力，理論上可以利用全部時刻的輸入信息來預測某一時刻的輸出，克服了過去模型只能利用有限窗口范圍內信息的問題。我們只使用了非常簡單的輸入特征——當前詞以及大小寫特征，并使用詞嵌套（word embedding）作為額外的補充信息。這些特征適用于幾乎全部自然語言標注任務，具有很好的通用性。
　　我們還針對BLSTM-RNN模型提出了一種新的訓練詞嵌套的方法，該方法可以在大量未標注語料上自動學習獲取詞嵌套。詞嵌套的

3、獲取與BLSTM-RNN模型的訓練獨立，且不依賴任何針對特定任務的相關知識，因此不影響模型的通用性。
　　我們在三個經典的標注任務：詞性標注，語塊切分與命名實體識別的標準測試語料上對本文所提方法進行了評測。在只使用同一套輸入特征、模型結構與訓練參數(shù)的情況下，我們的標注模型在每個任務上的表現(xiàn)都接近甚至超過了各任務中的已有最好方法的表現(xiàn)，顯著超過了已有最好的通用標注模型的表現(xiàn)。我們提出的訓練詞嵌套的方法也超過了其它已有的詞嵌套訓練方法