中文詞性標(biāo)注及未登錄詞詞性預(yù)測(cè)研究.pdf

1、中文詞性標(biāo)注(Pans of Speech Tagging)，是指根據(jù)上下文信息為待標(biāo)注的句子中的每一個(gè)詞語(yǔ)分配一個(gè)正確的詞性標(biāo)記的過(guò)程。中文詞性標(biāo)注是自然語(yǔ)言處理的基礎(chǔ)，為后續(xù)的信息抽取、句法分析、機(jī)器翻譯等任務(wù)提供必要的信息。
　　未登錄詞(Unknown Words)又稱為新詞，是指出現(xiàn)在語(yǔ)料中但未收錄在參考詞典中或未出現(xiàn)在訓(xùn)練語(yǔ)料中的詞語(yǔ)。未登錄詞詞性預(yù)測(cè)(Unknown Word POS Guessing)，是指采用一定

2、的方法為每個(gè)未登錄詞確定詞性標(biāo)記的過(guò)程。
　　目前詞性標(biāo)注面臨的較大困難是:兼類詞詞性標(biāo)注和未登錄詞詞性標(biāo)注。兼類詞詞性標(biāo)注及未登錄詞詞性預(yù)測(cè)的研究有助于改善中文詞性標(biāo)注的效果，因此，本文對(duì)中文詞性標(biāo)注及未登錄詞詞性預(yù)測(cè)進(jìn)行了較為深入的研究。
　　首先對(duì)中文詞性標(biāo)注及未登錄詞詞性預(yù)測(cè)的各種研究方法進(jìn)行分析與歸納，然后針對(duì)現(xiàn)有的管道模型標(biāo)注方法中存在的不足，在使用聯(lián)合模型的基礎(chǔ)上提出基于規(guī)則獲取的兼類詞標(biāo)注方法和基于組合模型的

3、未登錄詞詞性預(yù)測(cè)方法。主要工作包括:
　　1.利用管道模型方法進(jìn)行詞性標(biāo)注。分別采用經(jīng)典的最大熵模型和隱馬爾科夫模型進(jìn)行詞性預(yù)測(cè)，實(shí)現(xiàn)了兩個(gè)基于管道模型的基準(zhǔn)系統(tǒng)(baseline系統(tǒng))。
　　2.利用聯(lián)合模型方法進(jìn)行詞性標(biāo)注。針對(duì)管道模型標(biāo)注方法的缺點(diǎn)，采用基于聯(lián)合模型的方法將分詞問(wèn)題和詞性標(biāo)注問(wèn)題作為整體來(lái)處理，在處理分詞的同時(shí)標(biāo)注詞性，并且在使用聯(lián)合模型的基礎(chǔ)上提出基于規(guī)則自動(dòng)獲取的兼類詞消歧義方法和基于組合模型的未登