漢語詞義消歧研究.pdf

1、詞義消歧是自然語言處理的核心問題，詞義消歧結果的好壞直接影響到機器翻譯、信息檢索、句法分析和語音識別等應用領域。因此詞義消歧研究在自然語言處理領域中具有重要的理論和實踐意義。本文主要研究基于統(tǒng)計的漢語詞義消歧方法，先后研究了基于詞義標注語料庫的有指導的消歧方法和基于詞義標注語料與未標語料相結合的半指導的消歧方法。 在有指導的消歧方法中改進了AdaBoost算法(雙規(guī)則AdaBoost算法，即DR-AdaBoost)，該算法在每次

2、迭代中將最優(yōu)弱分類規(guī)則和次優(yōu)弱分類規(guī)則有機結合起來，通過加強最優(yōu)弱規(guī)則與次優(yōu)弱規(guī)則，最終產生一個準確度高的強規(guī)則，即消歧模型；當次優(yōu)弱規(guī)則的權重為零時，即為AdaBoost算法。實驗表明，DR-AdaBoost算法通過適當的次規(guī)則參數的調整，消歧準確率比AdaBoost算法提高了2.61％。 盡管有指導的消歧方法取得了較好的消歧結果，但其結果的好壞很大程度上受標注語料規(guī)模大小的影響，高質量、大規(guī)模的詞義標注語料需要高昂的人工代價

3、。為了克服有指導消歧方法對標注語料庫的依賴性，本文在漢語詞義消歧中引入Bootstrapping算法，該算法只從少量種子集出發(fā)，綜合利用詞義標注語料和未標注語料。實驗表明，在相同手工標注語料規(guī)模的條件下，Bootstrapping算法比基本分類器貝葉斯分類器取得了更好的消歧準確率，Bootstrapping算法可以用大約一半的標注語料作為種子集，就可以達到基本分類器的學習效果，減少了有指導消歧方法中對大規(guī)模詞義標注語料庫的需求。