半指導(dǎo)的判別式英漢詞匯對(duì)齊研究.pdf

1、詞匯對(duì)齊(Word Alignment)是指在源文和對(duì)應(yīng)的譯文中刻畫詞匯互譯關(guān)系的過程。由于詞匯的對(duì)譯關(guān)系是刻畫其他翻譯關(guān)系的基礎(chǔ)，所以自動(dòng)詞匯對(duì)齊是其他跨語言信息處理的基礎(chǔ)技術(shù)，一直受到研究者的重視。
　　本文在綜述詞對(duì)齊主要方法和分析該技術(shù)最新進(jìn)展的基礎(chǔ)上，引入半指導(dǎo)的判別式詞對(duì)齊方法提高了英漢詞對(duì)齊性能，并且探索了統(tǒng)計(jì)特征和先驗(yàn)知識(shí)相結(jié)合的多特征策略，進(jìn)一步改進(jìn)了詞對(duì)齊效果。最后將這一方法應(yīng)用于英漢詞匯互譯檢索中，設(shè)計(jì)并實(shí)現(xiàn)

2、了“綠洲”雙語檢索系統(tǒng)，解決了以往此類系統(tǒng)存在的候選互譯詞匯過多、檢索效率低的難題。本文主要具體的包括如下內(nèi)容：
　　首先，介紹了半指導(dǎo)的判別式英漢詞對(duì)齊模型，詳細(xì)的介紹了半指導(dǎo)判別式模型中采用的EMD(Expectation maximization and discriminative，期望最大化與判別相結(jié)合)訓(xùn)練算法，該訓(xùn)練算法結(jié)合了EM(Expectation maximization，期望最大化)訓(xùn)練和判別式(Discr

3、iminative)訓(xùn)練兩方面的優(yōu)點(diǎn)能夠從特征和特征權(quán)重兩個(gè)方向上對(duì)模型進(jìn)行訓(xùn)練，從而提高了判別式詞對(duì)齊的性能。介紹了NBest解碼算法，NBest解碼算法能夠保留更多的擴(kuò)展候選，從而可以減少搜索錯(cuò)誤的產(chǎn)生，提高詞對(duì)齊性能。
　　其次，分層次的介紹了在詞對(duì)齊研究中經(jīng)常使用的特征，并對(duì)特征進(jìn)行了歸類分析。在分析的基礎(chǔ)上，選擇了詞義相似度和詞性翻譯概率作為純先驗(yàn)特征和統(tǒng)計(jì)先驗(yàn)相結(jié)合特征的代表，將這兩種特征添加到純統(tǒng)計(jì)特征為基礎(chǔ)的判別式

4、系統(tǒng)中，并對(duì)這兩種特征帶來的影響進(jìn)行了分析。實(shí)驗(yàn)結(jié)果表明，純先驗(yàn)特征的添加要比統(tǒng)計(jì)先驗(yàn)相結(jié)合的特征更能夠帶來系統(tǒng)性能的提升，純先驗(yàn)知識(shí)的添加有利于提高模型的收斂速度。
　　最后，本文通過在常規(guī)判別式模型的基礎(chǔ)上添加三個(gè)新的特征，并使用召回率作為優(yōu)化目標(biāo)，獲得了一個(gè)召回率96％的詞對(duì)齊結(jié)果。將高召回率的詞對(duì)齊結(jié)果應(yīng)用到詞匯互譯檢索系統(tǒng)中去，實(shí)現(xiàn)了一個(gè)基于詞對(duì)齊的“綠洲”詞匯互譯檢索系統(tǒng)。該系統(tǒng)能夠使用高召回率的對(duì)齊結(jié)果獲得源語詞和譯