基于統(tǒng)計的蒙古文自動詞性標注的研究與實現(xiàn).pdf

1、隨著計算機技術(shù)，特別是網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和普及，人們越來越迫切地希望用自然語言與計算機交流。因此自然語言信息處理得到了前所未有的重視，受到了國內(nèi)外許多研究者的關(guān)注。詞性標注是自然語言信息處理的基礎(chǔ)，詞性標注的準確率直接影響到后續(xù)的研究。目前關(guān)于漢語自動詞性標注方面一些人士做了許多相關(guān)研究，并取得了一定的成果。而有關(guān)蒙古文自動詞性標注方面的研究還欠缺。
　　 本文主要研究并實現(xiàn)了基于統(tǒng)計的蒙古文自動詞性標注系統(tǒng)。該系統(tǒng)通過隱馬爾可

2、夫模型對訓(xùn)練語料庫進行訓(xùn)練，獲得兩種重要的模型參數(shù)，即詞性轉(zhuǎn)移概率矩陣和詞匯概率分布矩陣。得到模型參數(shù)之后采用VITERBI算法進行自動詞性標注。本文采用了詞語切分和線性插值法解決了隱馬爾可夫模型的數(shù)據(jù)稀疏問題，從而在一定程度上避免了由于數(shù)據(jù)稀疏而導(dǎo)致的自動詞性標注準確率下降問題。
　　 最后本文對該系統(tǒng)對蒙古文進行切分之前和切分之后的自動詞性標注分別作了以下的實驗。先在不同規(guī)模的語料下分別做了一級封閉測試和一級開放測試。然后當(dāng)