基于規(guī)則的漢語(yǔ)兼類(lèi)詞標(biāo)注方法研究.pdf

1、漢語(yǔ)詞性標(biāo)注作為自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)性研究課題之一，近年來(lái)受到廣泛的關(guān)注和深入的研究。詞性標(biāo)注的研究成果可為信息抽取、漢語(yǔ)語(yǔ)義分析等其它高層處理任務(wù)提供必要的基礎(chǔ)，在實(shí)際的自然語(yǔ)言應(yīng)用中起到至關(guān)重要的作用和影響。因此，本文以詞性標(biāo)注為研究目標(biāo)，對(duì)其中的關(guān)鍵問(wèn)題做系統(tǒng)研究。
　　目前，英文詞性標(biāo)注的準(zhǔn)確率較高，用傳統(tǒng)的統(tǒng)計(jì)模型即可解決，這是由英語(yǔ)的語(yǔ)法特點(diǎn)決定的。兼類(lèi)詞的標(biāo)注準(zhǔn)確率是影響詞性標(biāo)注準(zhǔn)確率的決定性因素，英語(yǔ)兼類(lèi)詞詞性的

2、變化一般是隨著詞形的變化而變化的，而漢語(yǔ)兼類(lèi)詞就不存在有詞形的變化了，這給我們統(tǒng)計(jì)模型帶來(lái)了很大的困難，漢語(yǔ)詞性標(biāo)注的準(zhǔn)確率就要比英語(yǔ)詞性標(biāo)注的準(zhǔn)確率低很多。另外一個(gè)影響詞性標(biāo)注準(zhǔn)確率的重要因素就是對(duì)未登錄詞的處理。未登錄詞就是在統(tǒng)計(jì)模型詞典中未收錄的詞，當(dāng)我們的詞典到達(dá)一定規(guī)模的時(shí)候，未登錄詞就主要是一些命名實(shí)體詞了，包括人名、地名、機(jī)構(gòu)名等等。特征模板的選擇也會(huì)影響詞性標(biāo)注的準(zhǔn)確率，統(tǒng)計(jì)模型是根據(jù)特征模板來(lái)統(tǒng)計(jì)上下文信息的，所以特征

3、模板的設(shè)置也是很重要的。如何解決上述問(wèn)題對(duì)漢語(yǔ)詞性標(biāo)注來(lái)說(shuō)是至關(guān)重要的。目前，漢語(yǔ)詞性標(biāo)注主要分為三種方法，即統(tǒng)計(jì)、規(guī)則以及規(guī)則和統(tǒng)計(jì)相結(jié)合的方法，第三種方法結(jié)合了統(tǒng)計(jì)方法與規(guī)則方法的優(yōu)缺點(diǎn)，能夠很好的解決漢語(yǔ)詞性標(biāo)注問(wèn)題。本文就是圍繞第三種方法展開(kāi)研究。
　　本文主要做了以下幾個(gè)方面的工作。首先，建立了隱馬爾科夫模型、條件隨機(jī)場(chǎng)模型、最大熵模型三種傳統(tǒng)的統(tǒng)計(jì)模型，并用這三種模型對(duì)《人民日?qǐng)?bào)》語(yǔ)料庫(kù)進(jìn)行詞性標(biāo)注，統(tǒng)計(jì)標(biāo)注結(jié)果。同時(shí)

4、，又對(duì)漢語(yǔ)詞性標(biāo)注的特征選擇進(jìn)行了研究，了解不同特征模板對(duì)漢語(yǔ)兼類(lèi)詞標(biāo)注準(zhǔn)確率的影響，從而確定了自己的特征模板選擇方法。針對(duì)詞性標(biāo)注中未登錄詞的問(wèn)題，本文提出了自己的處理策略，即規(guī)則和統(tǒng)計(jì)相結(jié)合的方法，提高了詞性標(biāo)注的準(zhǔn)確率。同時(shí)，對(duì)于傳統(tǒng)的統(tǒng)計(jì)模型對(duì)漢語(yǔ)兼類(lèi)詞標(biāo)注準(zhǔn)確率不高的問(wèn)題，引入了一種基于互信息的漢語(yǔ)詞性標(biāo)注規(guī)則挖掘方法，對(duì)規(guī)則挖掘進(jìn)行了研究，并引入規(guī)則優(yōu)先級(jí)算法解決規(guī)則沖突問(wèn)題，最后將所得規(guī)則和統(tǒng)計(jì)模型相結(jié)合，實(shí)驗(yàn)結(jié)果表明，規(guī)