基于神經(jīng)網(wǎng)絡(luò)的通用自然語(yǔ)言標(biāo)注模型.pdf

1、標(biāo)注任務(wù)是自然語(yǔ)言處理中的基礎(chǔ)任務(wù)，有著廣泛的應(yīng)用?，F(xiàn)有的標(biāo)注方法普遍存在兩種缺陷：1、通用性不高，模型表現(xiàn)很依賴針對(duì)具體任務(wù)設(shè)計(jì)的輸入特征，對(duì)于新任務(wù)往往需要花費(fèi)大量時(shí)間精力來(lái)重新設(shè)計(jì)、實(shí)驗(yàn)篩選特征以獲取一個(gè)相對(duì)滿意的表現(xiàn)。2、模型預(yù)測(cè)當(dāng)前詞的標(biāo)注時(shí)只考慮了一個(gè)有限寬度的上下文窗口內(nèi)的信息，未能利用整句的信息。
　　針對(duì)這兩種缺陷，本文提出了一種基于雙向長(zhǎng)短時(shí)記憶（BLSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的通用標(biāo)注模型。BLSTM-R

2、NN具有強(qiáng)大的時(shí)序建模能力，理論上可以利用全部時(shí)刻的輸入信息來(lái)預(yù)測(cè)某一時(shí)刻的輸出，克服了過(guò)去模型只能利用有限窗口范圍內(nèi)信息的問(wèn)題。我們只使用了非常簡(jiǎn)單的輸入特征——當(dāng)前詞以及大小寫特征，并使用詞嵌套（word embedding）作為額外的補(bǔ)充信息。這些特征適用于幾乎全部自然語(yǔ)言標(biāo)注任務(wù)，具有很好的通用性。
　　我們還針對(duì)BLSTM-RNN模型提出了一種新的訓(xùn)練詞嵌套的方法，該方法可以在大量未標(biāo)注語(yǔ)料上自動(dòng)學(xué)習(xí)獲取詞嵌套。詞嵌套的

3、獲取與BLSTM-RNN模型的訓(xùn)練獨(dú)立，且不依賴任何針對(duì)特定任務(wù)的相關(guān)知識(shí)，因此不影響模型的通用性。
　　我們?cè)谌齻€(gè)經(jīng)典的標(biāo)注任務(wù)：詞性標(biāo)注，語(yǔ)塊切分與命名實(shí)體識(shí)別的標(biāo)準(zhǔn)測(cè)試語(yǔ)料上對(duì)本文所提方法進(jìn)行了評(píng)測(cè)。在只使用同一套輸入特征、模型結(jié)構(gòu)與訓(xùn)練參數(shù)的情況下，我們的標(biāo)注模型在每個(gè)任務(wù)上的表現(xiàn)都接近甚至超過(guò)了各任務(wù)中的已有最好方法的表現(xiàn)，顯著超過(guò)了已有最好的通用標(biāo)注模型的表現(xiàn)。我們提出的訓(xùn)練詞嵌套的方法也超過(guò)了其它已有的詞嵌套訓(xùn)練方法