機器翻譯測試大綱

1、2004年度機器翻譯評測大綱一、評測對象本次評測的對象包括：漢－英、英－漢、漢－日、日－漢、漢－法、法－漢、漢法機器翻譯系統(tǒng)中的核心技術(shù)。二、評測內(nèi)容本次評測組織兩種語料的評測，一種是篇章語料，一種是對話語料。領(lǐng)域是通用領(lǐng)域和面向奧運的相關(guān)領(lǐng)域，包括體育賽事、天氣預(yù)報、交通住宿、旅游餐飲等。本次評測的評測指標包括譯文質(zhì)量和翻譯速度。三、評測方法1.評測方式本次評測為現(xiàn)場評測。結(jié)果評估采用的是以人工評估為主、自動評估為輔方式。人工評估采用

2、可理解率指標。評估方式是：由評測組織單位將提交的評測結(jié)果匯總在一起，然后用計算機隨機打亂譯文句子的排列順序。再將所有譯文句子提交給多位專家進行可理解率的人工評測評估。將專家評測的結(jié)果匯總，用計算機還原成原來的排列順序，計算出總得分的可理解率。自動評測采用基于n元語法的BLEU和NIST方法?！?.評測步驟(1)在評測單位統(tǒng)一提供的評測環(huán)境上安裝被測系統(tǒng)。系統(tǒng)應(yīng)安裝在指定的目錄中。(2)評測單位給出評測數(shù)據(jù)。評測數(shù)據(jù)存放在指定目錄中。給

3、出評測數(shù)據(jù)以后被測單位不得再更改系統(tǒng)參數(shù)。(3)被測單位運行系統(tǒng)，提交評測結(jié)果。被測單位應(yīng)指導(dǎo)評測人員學(xué)會操作方法，所有操作由評測人員進行，系統(tǒng)運行時各單位人員應(yīng)離場。系統(tǒng)的運行應(yīng)該是批處理方式的，系統(tǒng)讀入一個腳本文件（格式后面說明），腳本中存放輸入文件名和對應(yīng)的輸出文件名。(4)評測單位事后進行人工評估。(5)公布評測結(jié)果。下面以漢英機器翻譯為例，說明腳本文件、源語言文件和目標語言文件格式。（1）腳本文件格式：腳本文件是文本文件，由若

4、干行組成。每行代表一個待翻譯的源語言文件。每行分為3個部分，各個部分以空格分開，第一部分為序號，第二部分為源語言文件名，第三部分為目標語言文件名。系統(tǒng)的翻譯應(yīng)按順序進行，不得更改輸出文件名。給出的文件名都是相對于腳本文件所在目錄的。1d:sourcesrc1.txxmltd:resultdst1.xmltxt2d:sourcesrc2.xmltxtd:resultdst2.txxmlt3…（2）源語言文件格式：源文件采用xml格式。每個

5、源語言文件包含一個元素（由和括起來的部分），其中元素后面的屬性說明文檔相關(guān)信息。docid給出文檔名稱，lang給出文檔的源語言，屬性值用雙引號引起。語言代碼中，英語用雍“en”表示，漢語用“zh”表示，日語用“ja”表示，法語用“fr”表示。每個段元素由若干個元素（由和括起來的部分）組成，輸出中應(yīng)保持相應(yīng)結(jié)構(gòu)。每個元素由若干個元素（由和括起來的部分）組成，其中后面元素的屬性給出句子的id值，id的值是正整數(shù)。每個元素的id各不相同，但