基于隱馬爾科夫模型詞性標(biāo)注的研究.pdf

1、計(jì)算機(jī)技術(shù)發(fā)展給人們生活帶來了革命性的改變，人們希望能夠和計(jì)算機(jī)更加有效地溝通，因此，自然語言處理技術(shù)應(yīng)運(yùn)而生。詞性標(biāo)注作為自然語言處理中一個(gè)重要的基礎(chǔ)性研究課題，具有深刻的意義和廣泛的應(yīng)用。在自然語言處理系統(tǒng)中它通常是作為預(yù)處理程序，所以標(biāo)注的準(zhǔn)確性對(duì)于后續(xù)工作甚至是整個(gè)系統(tǒng)都至關(guān)重要。因此詞性標(biāo)注必須為后續(xù)自然語言處理過程提供高準(zhǔn)確率的中間結(jié)果。
　　 詞性作為詞匯最重要的屬性，是將詞匯連接到句法的主要紐帶，它能夠提供大量有

2、關(guān)詞匯及其上下文的重要信息。同時(shí)也能夠提供有關(guān)單詞發(fā)音的信息，這在語音識(shí)別的語言模型中是非常有用的。進(jìn)行過詞性標(biāo)注的文本是自然語言處理最基本的訓(xùn)練語料，如果沒有這樣語料庫的建立，自然語言處理也只能是空談。
　　 目前，詞性標(biāo)注的研究已經(jīng)基本趨于成熟，主要的標(biāo)注方法有:基于規(guī)則的詞性標(biāo)注方法、基于統(tǒng)計(jì)的詞性標(biāo)注方法、規(guī)則和統(tǒng)計(jì)相結(jié)合的方法以及基于轉(zhuǎn)換的錯(cuò)誤驅(qū)動(dòng)方法。詞性標(biāo)注的應(yīng)用也越來越廣泛，主要應(yīng)用于:機(jī)器翻譯、自動(dòng)摘要、文本分

3、類、文本校對(duì)、語音識(shí)別、語音合成、語料庫加工、信息檢索等領(lǐng)域。
　　 本文主要從以下三個(gè)方面對(duì)詞性標(biāo)注的準(zhǔn)確率進(jìn)行了提高。首先，在傳統(tǒng)隱馬爾科夫模型的基礎(chǔ)上進(jìn)行了改進(jìn)，實(shí)現(xiàn)了二階隱馬爾科夫模型，使模型能夠更好地結(jié)合上下文信息，從而提高標(biāo)注的準(zhǔn)確率。其次，由于目前各類平滑算法還缺乏深入的研究及性能分析，因此最佳平滑算法的選取也是一個(gè)難題。這里對(duì)決定平滑算法效果的因素和它們?cè)谀姆N情況下效果最好做了說明。并選擇最適用于現(xiàn)有模型和訓(xùn)練語

4、料庫規(guī)模的平滑算法來對(duì)數(shù)據(jù)進(jìn)行處理。最后，針對(duì)詞性標(biāo)注中生詞處理算法難以結(jié)合到統(tǒng)計(jì)模型中的問題，特采用通過求詞匯發(fā)射概率來對(duì)生詞問題進(jìn)行處理的方法，并提出一種針對(duì)專業(yè)領(lǐng)域文獻(xiàn)中高頻生詞處理的方法。本文使用JAVA在Eclipse開發(fā)平臺(tái)上實(shí)現(xiàn)了隱馬爾科夫模型模型和本文所提到的改進(jìn)方法，在英語和漢語兩種語料庫中進(jìn)行了測(cè)試。實(shí)驗(yàn)表明，通過使用二階隱馬爾科夫模型，加入平滑算法以及生詞處理算法之后進(jìn)行詞性標(biāo)注，能夠獲得更加理想的詞性標(biāo)注效果。同