自然語言處理中序列標(biāo)注模型的研究.pdf

1、隨著近年來互聯(lián)網(wǎng)等新興媒體的快速發(fā)展，人類已經(jīng)進入了信息爆炸的時代。同時也越來越希望計算機能夠理解人類的語言，以更好地幫助人類完成各種日常工作。因此自然語言處理成為了近年來的研究熱點。
　　 而在自然語言處理中，序列標(biāo)注模型是最常見的模型，也有著廣泛地應(yīng)用。與一般分類問題不同的是，序列標(biāo)注模型輸出的是一個標(biāo)簽序列。通常而言，標(biāo)簽之間是相互聯(lián)系的，構(gòu)成標(biāo)簽之間的結(jié)構(gòu)信息。利用這些結(jié)構(gòu)信息，序列標(biāo)注模型在序列標(biāo)注問題上往往可以達到比

2、傳統(tǒng)分類方法更高的性能。
　　 本文著眼于解決自然語言處理中復(fù)雜的序列標(biāo)注問題，主要從兩個方面對序列標(biāo)注模型做出了改進。
　　 首先，針對常見的可分解為分段和標(biāo)注兩個子任務(wù)的復(fù)雜序列標(biāo)注問題，我們提出了雙鏈序列標(biāo)注模型。該模型中存在著兩條相互聯(lián)系的馬爾科夫鏈。為此我們提出了一個同時求解這兩條鏈上最優(yōu)序列的解碼算法。同時利用這兩條鏈，針對不同的實際應(yīng)用場景可以組合出不同的標(biāo)注模型，使用不同的解碼算法完成實際的標(biāo)注任務(wù)。為了

3、能夠適應(yīng)不同的解碼算法，我們還提出了一個能夠利用異構(gòu)語料訓(xùn)練模型的參數(shù)學(xué)習(xí)算法。在多個語料上的實驗表面，我們提出的模型性能要優(yōu)于其他模型，并能在同一個模型內(nèi)完成多種標(biāo)注任務(wù)。
　　 其次，針對高階標(biāo)注模型的解碼問題，我們提出了一個可以適應(yīng)任意階數(shù)的精確解碼算法。通過擴展解碼過程中的狀態(tài)，我們將高階的標(biāo)簽解碼過程統(tǒng)一為一階的狀態(tài)解碼過程。通過狀態(tài)之間的轉(zhuǎn)移約束，我們?yōu)槊總€狀態(tài)進行編碼，并利用該狀態(tài)編碼能夠快速地找到其合法的轉(zhuǎn)移狀態(tài)