基于統(tǒng)計(jì)的機(jī)器翻譯研究及應(yīng)用.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的信息時(shí)代，不同地區(qū)國(guó)家之間的交流變得更加容易和頻繁，語言作為信息的載體，不同語言之間的翻譯的重要性與日俱增。巨大的翻譯需求推動(dòng)著機(jī)器翻譯的快速發(fā)展，在眾多的翻譯模型中，短語統(tǒng)計(jì)機(jī)器翻譯模型應(yīng)用最廣且具有較高的翻譯性能，近年來逐漸成為機(jī)器翻譯領(lǐng)域的核心內(nèi)容。
　　本文研究的主要內(nèi)容為基于短語的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，將機(jī)器翻譯分為語料預(yù)處理，翻譯模型訓(xùn)練，語言模型訓(xùn)練和解碼器四個(gè)獨(dú)立的功能模塊。語料預(yù)處理主要

2、包括分詞以及格式標(biāo)準(zhǔn)化;翻譯模型訓(xùn)練主要包括詞對(duì)齊，短語抽取以及短語評(píng)分;語言模型使用最常用的N-Gram語言模型;解碼器是翻譯系統(tǒng)的核心模塊，包括翻譯候選項(xiàng)獲取，計(jì)算未來翻譯概率，搜索最優(yōu)路徑和譯文生成工作。本文采用基于棧的搜索算法，在解碼過程中，為了提高翻譯效率，運(yùn)用不同的剪枝策略分別對(duì)解碼器進(jìn)行優(yōu)化，并通過實(shí)驗(yàn)對(duì)比不同剪枝策略對(duì)翻譯結(jié)果的影響。
　　本文實(shí)現(xiàn)了一個(gè)完整的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)，能夠完成基本的翻譯需求，并對(duì)學(xué)者們提出

3、的立方剪枝，柱狀圖剪枝，動(dòng)態(tài)剪枝三種剪枝策略在該系統(tǒng)上實(shí)驗(yàn)，通過實(shí)驗(yàn)數(shù)據(jù)得出各種剪枝策略的性能和適用范圍。
　　本文研究得出，基于棧的解碼算法具有較高的翻譯性能，但解碼速度較慢，其原因是翻譯過程中有大量的翻譯候選冗余，選擇合適的剪枝方法，能夠有效提高翻譯效率。本文研究證實(shí)在立方剪枝，柱狀圖剪枝，動(dòng)態(tài)剪枝三種剪枝策略中，立方剪枝的綜合性能最高，并且相對(duì)安全和穩(wěn)定;動(dòng)態(tài)剪枝性能取決于剪枝對(duì)象的規(guī)模，其性能隨著剪枝對(duì)象規(guī)模的增大而提高，