藏語分詞與詞性標(biāo)注研究.pdf

1、藏語信息處理技術(shù)經(jīng)過二十多年的發(fā)展，無論是在藏文信息處理研究及其相關(guān)標(biāo)準(zhǔn)制定方面，還是在藏語信息處理應(yīng)用開發(fā)方面，都取得了不少成績。藏語信息處理技術(shù)也逐步邁入到語言信息處理層面。雖然藏語信息處理研究在技術(shù)上緊跟著英漢語等之后，但作為信息處理研究基礎(chǔ)的語料資源相對貧乏。公開的藏語語料庫都是未標(biāo)注的生語料庫，其應(yīng)用價(jià)值非常有限。由于對藏語的本體研究不夠深入，許多對藏語信息處理有價(jià)值的屬性未能挖掘和描述出來，因而限制了藏語信息處理技術(shù)的發(fā)展和

2、應(yīng)用范圍。針對以上問題，本文采用了多種統(tǒng)計(jì)模型和方法來進(jìn)行藏語分詞和詞性標(biāo)注研究，并取得了以下幾個(gè)方面的主要成果:
　　一、提出了基于詞位的藏語分詞方法，在國內(nèi)外較早地將藏語黏寫形式的特征融合到藏語分詞研究當(dāng)中。
　　我們采用了基于詞位的統(tǒng)計(jì)方法來處理藏語分詞問題，將藏語分詞轉(zhuǎn)化為序列標(biāo)注問題，實(shí)現(xiàn)了一個(gè)藏語分詞系統(tǒng)。該系統(tǒng)采用條件隨機(jī)場模型，針對藏語黏寫形式的語法特征，將漢語分詞中常用的四詞位標(biāo)簽集改進(jìn)為更適合藏語特點(diǎn)的六

3、詞位標(biāo)簽集，并使用100萬余經(jīng)人工反復(fù)校對的語料對模型進(jìn)行訓(xùn)練。經(jīng)實(shí)驗(yàn)測試，在大規(guī)模真實(shí)語料的測試中，系統(tǒng)的開放測試F值達(dá)到了91％，分詞性能基本上令人滿意。在進(jìn)一步的研究中，我們經(jīng)分析發(fā)現(xiàn)分詞精度主要受到了藏語黏寫形式識別結(jié)果的限制?？紤]到黏寫形式的復(fù)雜多樣，我們在總結(jié)前人的研究成果的基礎(chǔ)上，加入了基于規(guī)則的后處理環(huán)節(jié)，最終的測試結(jié)果F值達(dá)到了95％以上，已能滿足藏語語料庫建設(shè)的實(shí)際需求。
　　二、在藏語分詞研究的基礎(chǔ)上，根據(jù)藏

4、族人名特征探討了藏語人名識別方法。
　　通過研究藏語人名的特點(diǎn)，我們總結(jié)了藏語人名識別的多種策略并最終選擇了基于統(tǒng)計(jì)的方法來實(shí)現(xiàn)藏語人名的識別。我們基于條件隨機(jī)場模型，通過使用名字邊界、前后綴、上下文等特征，給出了藏文人名識別的一種方法。最終實(shí)驗(yàn)系統(tǒng)在開放測試中取得的F值達(dá)到了91.26％。雖然未能進(jìn)一步發(fā)掘名字與普通詞語同形這一極易導(dǎo)致歧義現(xiàn)象的特征，導(dǎo)致系統(tǒng)識別性能未能達(dá)到十分理想的效果，但可以通過對特征標(biāo)簽集進(jìn)行調(diào)整，同時(shí)優(yōu)

5、化特征模板集，進(jìn)一步提高識別效果。
　　三、綜合使用了多種統(tǒng)計(jì)模型實(shí)現(xiàn)了藏語詞性標(biāo)注研究，在國內(nèi)外首次采用最大熵結(jié)合條件隨機(jī)場模型實(shí)現(xiàn)了藏語的詞性標(biāo)注方法。
　　通過對藏語詞性的研究，在滿足基本的詞法分析的需求下，我們將藏語詞類標(biāo)記集精簡到統(tǒng)計(jì)模型切實(shí)可用的規(guī)模，然后選擇最大熵模型構(gòu)建了一個(gè)藏語詞性標(biāo)注系統(tǒng)，并采用小規(guī)模的語料進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，在小規(guī)模語料訓(xùn)練下，基于最大熵的詞性標(biāo)注系統(tǒng)達(dá)到了87.76％的準(zhǔn)確率，已基

6、本接近詞法分析可用的要求。
　　在最大熵模型的基礎(chǔ)上，我們提出了基于條件隨機(jī)場的修正模型。該模型在最大熵模型的輸出結(jié)果上進(jìn)行訓(xùn)練，從而可以將最大熵模型中次優(yōu)結(jié)果和再次優(yōu)結(jié)果中的正確標(biāo)注挑選出來，提高詞性標(biāo)注的準(zhǔn)確率。實(shí)驗(yàn)證明，采用同樣規(guī)模的訓(xùn)練語料和測試語料，最大熵結(jié)合條件隨機(jī)場的詞性標(biāo)注模型達(dá)到了89.12％的準(zhǔn)確率，已接近同類漢語詞性標(biāo)注系統(tǒng)的水平。
　　四、實(shí)現(xiàn)了一種基于條件隨機(jī)場的藏語分詞標(biāo)注一體化模型，將分詞和詞性

7、標(biāo)注整合到一個(gè)統(tǒng)一的系統(tǒng)中，為藏語詞法分析提供了新的解決途徑。
　　我們充分利用了分詞與詞性標(biāo)注間更深層次的依賴關(guān)系，在一體化模型中利用詞性信息來處于分詞過程中遇到的歧義問題。在較小的訓(xùn)練語料規(guī)模下，藏語分詞標(biāo)注一體化模型在開放測試中分詞結(jié)果的F值達(dá)到了89.0％，這表明一體化模型將詞位信息和所屬詞的詞性信息很好的結(jié)合起來，能更有效的提高分詞精度，其分詞效果已基本可以滿足語料庫對自動分詞的需求。一體化模型的詞性標(biāo)注準(zhǔn)確率也達(dá)到了8