基于微引擎流水線的機器翻譯系統(tǒng)結(jié)構(gòu)

1、基于微引擎流水線的機器翻譯系統(tǒng)結(jié)構(gòu)基于微引擎流水線的機器翻譯系統(tǒng)結(jié)構(gòu)1劉群中國科學(xué)院計算技術(shù)研究所，北京100080北京大學(xué)計算語言學(xué)研究所，北京100871liuqun@ict.摘要：摘要：本文比較了現(xiàn)有各種多引擎機器翻譯方法的優(yōu)缺點，提出了基于微引擎流水線的機器翻譯系統(tǒng)結(jié)構(gòu)，詳細(xì)介紹了有關(guān)的數(shù)據(jù)結(jié)構(gòu)和算法。這種結(jié)構(gòu)的優(yōu)點在于在部件層次上實現(xiàn)多種算法的并存，通過對微引擎的增刪和流水線結(jié)構(gòu)的調(diào)整可以方便地嘗試各種機器翻譯方法的組合，而不

2、需要修改系統(tǒng)的整體算法。文章最后介紹了這種機器翻譯系統(tǒng)結(jié)構(gòu)在面向新聞領(lǐng)域的漢英機器翻譯系統(tǒng)中的具體實現(xiàn)，給出了實驗數(shù)據(jù)，并進(jìn)行了總結(jié)。摘要：摘要：多引擎機器翻譯微引擎流水線1引言引言由于各種不同的機器翻譯方法各有特長，也各有缺點，沒有哪一種單一的機器翻譯方法能夠達(dá)到理想的效果，因此采用多引擎的方法，希望各種方法能夠互補，以達(dá)到總體效果的最優(yōu)，就成為了一種自然的選擇。目前多引擎的機器翻譯目前已經(jīng)被廣泛采用，而實踐證明這種方法也確實有效。目

3、前常用的多引擎機器翻譯系統(tǒng)主要有三種結(jié)果形式，我們稱之為并行的結(jié)構(gòu)、串行的結(jié)構(gòu)和混合的結(jié)構(gòu)。在并行結(jié)構(gòu)的多引擎機器翻譯系統(tǒng)中，各個翻譯引擎各自獨立地對輸入的文本進(jìn)行翻譯，并將翻譯的結(jié)果放到一個統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)中，最后由一個譯文選擇模塊選擇出最好的譯文組合。Frederking[1]提出了一種典型的并行多引擎機器翻譯的方法。該方法基本思想描述如下：1.多個的翻譯引擎同時對輸入的句子進(jìn)行翻譯，不僅僅對整個句子進(jìn)行翻譯，而且對句子的任何一個片斷

4、也可以給出相應(yīng)的譯文，同時對這些譯文片斷給出一個評分。2.各個翻譯引擎共享一個類似線圖的數(shù)據(jù)結(jié)構(gòu)，根據(jù)其源文片斷所處的位置，將這些譯文片斷放在這個公共的線圖結(jié)構(gòu)之中。3.對各個引擎給出的片斷的評分進(jìn)行一致化處理，使之具有可比較性。4.采用一個動態(tài)規(guī)劃算法（稱為tWalk算法）選擇一組剛好能覆蓋整個源文輸入句子，同時又具有最高總分的譯文片斷，作為最后輸出的譯文。系統(tǒng)結(jié)構(gòu)如圖1所示：1本文工作受國家重點基礎(chǔ)研究計劃（973）支持，項目編號是

5、G19980305074和G1998030510。不過，并行的多引擎機器翻譯方法有一個突出的優(yōu)點也是另外兩種方法所不具備的，就是其易擴充性。在這種結(jié)構(gòu)下，各個翻譯引擎的程序接口完全相同，添加和刪除新的翻譯引擎變得非常簡單，這使得程序的擴充變得非常容易。而在串行和混合的多引擎機器翻譯結(jié)構(gòu)中，各個翻譯引擎（部件）由于實現(xiàn)的功能不盡相同，各個翻譯引擎之間存在復(fù)雜的通訊關(guān)系，翻譯引擎無法采用統(tǒng)一的程序接口，這使得程序的擴充變得非常困難。由德國教

6、育與研究部（BMBF）資助開發(fā)的Verbmobil語音機器翻譯系統(tǒng)就是一個典型的混合結(jié)構(gòu)的多引擎機器翻譯系統(tǒng)[6]。該系統(tǒng)規(guī)模非常龐大，整個系統(tǒng)的研制為期8年（19932000），涉及三種語言（德語、英語、日語）的雙向翻譯。世界三大洲的31個研究機構(gòu)、369名科學(xué)家和919名學(xué)生（碩士生、博士生和博士后）參與了這個項目的研究。系統(tǒng)采用的技術(shù)也非常龐雜，語音處理領(lǐng)域和自然語言處理領(lǐng)域中常見各種技術(shù)都在這個系統(tǒng)中有所反映。整個系統(tǒng)由69個互

7、相交互的模塊構(gòu)成。其中用到的自然語言處理技術(shù)包括：組塊分析、概率LR分析、HPSG分析、對話行為（DialogAct）分析、基于統(tǒng)計的翻譯、基于子串（substring）的翻譯、基于模板的翻譯、基于模板的轉(zhuǎn)換、語義分析、上下文相關(guān)歧義的消解、基于規(guī)劃的話語生成，等等。為了解決翻譯引擎之間通訊的問題，Verbmobil系統(tǒng)采用一種多黑板結(jié)構(gòu)用于模塊之間的數(shù)據(jù)交互，模塊之間不能直接通信。黑板結(jié)構(gòu)還有利于各個模塊之間的并行執(zhí)行。總共采用了19