面向統(tǒng)計(jì)機(jī)器翻譯的語(yǔ)料處理與評(píng)價(jià)技術(shù)研究.pdf

1、近年來(lái)，基于統(tǒng)計(jì)的方法在機(jī)器翻譯領(lǐng)域內(nèi)越來(lái)越占據(jù)到主導(dǎo)地位，多種基于統(tǒng)計(jì)方法的機(jī)器翻譯系統(tǒng)相繼出現(xiàn)，如基于短語(yǔ)、基于層次型短語(yǔ)、基于句法等等。而對(duì)于機(jī)器翻譯系統(tǒng)，語(yǔ)料是不可或缺的重要資源，所謂“巧婦難為無(wú)米之炊”?！帮垺弊龅暮贸赃€是不好吃，“巧婦”很重，當(dāng)然也不能沒(méi)有米，“米”質(zhì)量的好壞也至關(guān)重要。為此，本文重點(diǎn)研究統(tǒng)計(jì)機(jī)器翻譯語(yǔ)料的預(yù)處理、雙語(yǔ)語(yǔ)料質(zhì)量的評(píng)價(jià)，以及語(yǔ)料選取和訓(xùn)練集的構(gòu)建。另外，對(duì)雙語(yǔ)術(shù)語(yǔ)資源的自動(dòng)獲取工作做了一些簡(jiǎn)單的

2、介紹。
　　語(yǔ)料預(yù)處理工作是一項(xiàng)比較繁瑣但對(duì)機(jī)器翻譯來(lái)講又十分重要的任務(wù)。本文從傳統(tǒng)預(yù)處理角度介紹了預(yù)處理的流程、相關(guān)技術(shù)。同時(shí)結(jié)合專利翻譯任務(wù)語(yǔ)料預(yù)處理對(duì)涉及到的一些問(wèn)題進(jìn)行了討論。簡(jiǎn)單的探討了預(yù)處理對(duì)機(jī)器翻譯性能的影響。
　　另外，針對(duì)統(tǒng)計(jì)機(jī)器翻譯雙語(yǔ)語(yǔ)料質(zhì)量參差不齊，并且難以保證的問(wèn)題，本文比較了幾種不同的句對(duì)質(zhì)量評(píng)價(jià)方法，包括基于雙語(yǔ)詞典的句對(duì)質(zhì)量評(píng)價(jià)等。從忠誠(chéng)度和流暢度兩個(gè)方面來(lái)衡量句對(duì)質(zhì)量。通過(guò)實(shí)驗(yàn)驗(yàn)證了這些方法

3、的合理性，并對(duì)其中存在的問(wèn)題進(jìn)行了分析。
　　雙語(yǔ)專名、術(shù)語(yǔ)翻譯資源對(duì)于機(jī)器翻譯來(lái)說(shuō)也是非常重要的。本文基于互聯(lián)網(wǎng)和學(xué)術(shù)文獻(xiàn)數(shù)據(jù)庫(kù)，用自動(dòng)的方法獲取了數(shù)百萬(wàn)的雙語(yǔ)術(shù)語(yǔ)翻譯資源，并對(duì)資源進(jìn)行了整理和規(guī)范化。這些資源為機(jī)器翻譯系統(tǒng)提供了重要的資源支撐。當(dāng)然，這些資源同樣可用于中文分詞，信息檢索等諸多領(lǐng)域。
　　在訓(xùn)練語(yǔ)料的選取和訓(xùn)練集構(gòu)建方面，本文提出了基于句對(duì)質(zhì)量和覆蓋度的統(tǒng)計(jì)機(jī)器翻譯訓(xùn)練語(yǔ)料選取方法，通過(guò)實(shí)驗(yàn)證明了該方法的有

4、效性。在實(shí)驗(yàn)數(shù)據(jù)上，選取原始規(guī)模20％的語(yǔ)料作為訓(xùn)練集即達(dá)到用全部預(yù)料相當(dāng)?shù)挠?xùn)練效果。并且將該方法用到具體的實(shí)際應(yīng)用中，為CWMT2011機(jī)器翻譯評(píng)測(cè)選取100萬(wàn)中英雙語(yǔ)句對(duì)作為訓(xùn)練語(yǔ)料。相關(guān)實(shí)驗(yàn)充分表明了該方法的優(yōu)勢(shì)，且簡(jiǎn)單有效。
　　在測(cè)試集給定并且訓(xùn)練語(yǔ)料有限情況下，為了達(dá)到更佳的訓(xùn)練效果，需要對(duì)原始訓(xùn)練集進(jìn)行優(yōu)化。有些研究是從原始的訓(xùn)練集中選擇和測(cè)試集相似的句對(duì)，通過(guò)加重這些相似句對(duì)權(quán)重的方法來(lái)優(yōu)化訓(xùn)練集的分布，達(dá)到提高翻