統(tǒng)計與語言學(xué)相結(jié)合的詞對齊及相關(guān)融合策略研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展和信息的國際化，對于不同語言文本內(nèi)容的理解和傳播成為了人們的強烈需求。機器翻譯這個古老的課題在這樣的背景下重新煥發(fā)了生機。詞對齊作為統(tǒng)計機器翻譯的中間結(jié)果，除了在機器翻譯中占有重要地位外，在詞義消歧等自然語言處理應(yīng)用領(lǐng)域都有著廣泛的應(yīng)用價值。
　　傳統(tǒng)基于統(tǒng)計學(xué)的詞對齊方法在語料規(guī)模方面有著較高的要求，在小規(guī)模語料資源上如何解決數(shù)據(jù)稀疏，進而提高對齊的正確率成為詞對齊研究的重點。本文提出了統(tǒng)計和語言學(xué)知識相結(jié)合

2、及利用相關(guān)策略融合的方法來解決這些問題。
　　我們采用了基于信源信道統(tǒng)計機器翻譯的對齊模型，結(jié)合雙語詞典、規(guī)則和句法結(jié)構(gòu)特征等語言學(xué)知識，利用位置信息和詞性信息作為過濾條件，分別從增加置信度高的對齊詞對、刪除錯誤對齊詞對、改進未對齊和多個相同詞匯對齊消歧等方面改進了詞對齊的質(zhì)量。其中結(jié)合雙語詞典和句法結(jié)構(gòu)特征的方法分別在準確率和召回率方面有所提高，基于規(guī)則的方法在各方面表現(xiàn)優(yōu)異，達到了0.2503的最低詞對齊錯誤率。
　　此