中文詞性標(biāo)注的研究與實(shí)現(xiàn).pdf

1、隨著信息檢索和自然語言處理的發(fā)展，在信息檢索中引入自然語言處理技術(shù)是信息檢索發(fā)展的重要趨勢(shì)之一，而詞性標(biāo)注作為自然語言處理領(lǐng)域的基礎(chǔ)，可以提高信息檢索的效果和效率，因此在信息檢索領(lǐng)域有著非常重要的作用。因此，本文圍繞詞性標(biāo)注對(duì)其中的關(guān)鍵問題進(jìn)行了系統(tǒng)研究，并著重實(shí)現(xiàn)一個(gè)詞性標(biāo)注系統(tǒng)。 本文首先對(duì)詞性標(biāo)注的基礎(chǔ)技術(shù)——中文分詞作了系統(tǒng)的研究。中文分詞模塊采用了逆向最人匹配作為基本分詞方法，結(jié)合規(guī)則和統(tǒng)計(jì)的方法解決分詞歧義問題，并對(duì)

2、中文姓名和高頻未登錄詞分別采用相應(yīng)策略進(jìn)行識(shí)別，所設(shè)計(jì)和實(shí)現(xiàn)的中文分詞系統(tǒng)具有較高的分詞準(zhǔn)確率和較快的分詞速度，可以為詞性標(biāo)注提供良好的基礎(chǔ)。 本文主要對(duì)基于統(tǒng)計(jì)的詞性標(biāo)注技術(shù)進(jìn)行了研究，所實(shí)現(xiàn)詞性標(biāo)注系統(tǒng)主要通過隱馬爾可大模型對(duì)訓(xùn)練語料庫進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，獲取所需詞性和詞匯概率信息，并采用Viterbi算法進(jìn)行標(biāo)注。針對(duì)訓(xùn)練語料庫規(guī)模較小導(dǎo)致的數(shù)據(jù)稀疏的問題，運(yùn)用了簡單而高效的Katz算法進(jìn)行數(shù)據(jù)平滑處理，有效地避免了因數(shù)據(jù)稀疏導(dǎo)