基于神經(jīng)網(wǎng)絡(luò)的通用自然語言標(biāo)注模型.pdf

1、標(biāo)注任務(wù)是自然語言處理中的基礎(chǔ)任務(wù)，有著廣泛的應(yīng)用?，F(xiàn)有的標(biāo)注方法普遍存在兩種缺陷：1、通用性不高，模型表現(xiàn)很依賴針對具體任務(wù)設(shè)計(jì)的輸入特征，對于新任務(wù)往往需要花費(fèi)大量時(shí)間精力來重新設(shè)計(jì)、實(shí)驗(yàn)篩選特征以獲取一個(gè)相對滿意的表現(xiàn)。2、模型預(yù)測當(dāng)前詞的標(biāo)注時(shí)只考慮了一個(gè)有限寬度的上下文窗口內(nèi)的信息，未能利用整句的信息。
　　針對這兩種缺陷，本文提出了一種基于雙向長短時(shí)記憶（BLSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的通用標(biāo)注模型。BLSTM-R

2、NN具有強(qiáng)大的時(shí)序建模能力，理論上可以利用全部時(shí)刻的輸入信息來預(yù)測某一時(shí)刻的輸出，克服了過去模型只能利用有限窗口范圍內(nèi)信息的問題。我們只使用了非常簡單的輸入特征——當(dāng)前詞以及大小寫特征，并使用詞嵌套（word embedding）作為額外的補(bǔ)充信息。這些特征適用于幾乎全部自然語言標(biāo)注任務(wù)，具有很好的通用性。
　　我們還針對BLSTM-RNN模型提出了一種新的訓(xùn)練詞嵌套的方法，該方法可以在大量未標(biāo)注語料上自動學(xué)習(xí)獲取詞嵌套。詞嵌套的

3、獲取與BLSTM-RNN模型的訓(xùn)練獨(dú)立，且不依賴任何針對特定任務(wù)的相關(guān)知識，因此不影響模型的通用性。
　　我們在三個(gè)經(jīng)典的標(biāo)注任務(wù)：詞性標(biāo)注，語塊切分與命名實(shí)體識別的標(biāo)準(zhǔn)測試語料上對本文所提方法進(jìn)行了評測。在只使用同一套輸入特征、模型結(jié)構(gòu)與訓(xùn)練參數(shù)的情況下，我們的標(biāo)注模型在每個(gè)任務(wù)上的表現(xiàn)都接近甚至超過了各任務(wù)中的已有最好方法的表現(xiàn)，顯著超過了已有最好的通用標(biāo)注模型的表現(xiàn)。我們提出的訓(xùn)練詞嵌套的方法也超過了其它已有的詞嵌套訓(xùn)練方法