云翻譯平臺下基于海量語料的統(tǒng)計機器翻譯方法研究.pdf

1、廈門大學學位論文原創(chuàng)性聲明本人呈交的學位論文是本人在導師指導下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體己經發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學研究生學術活動規(guī)范(試行)》。另外，該學位論文為()課題(組)的研究成果，獲得()課題(組)經費或實驗室的資助，在()實驗室完成。(請在以上括號內填寫課題或課題組負責人或實驗室名稱，未有此項聲明內容的，可以不作特別聲明。)聲明人(簽名)：彳艙侈砂易

2、年f月2》Et摘要隨著信息技術的不斷進步和計算機網絡的飛速發(fā)展，每天在互聯(lián)網上傳播的信息和知識達到以往數(shù)倍。同時，現(xiàn)實領域中也產生了海量的雙語數(shù)據，這些數(shù)據對于統(tǒng)計機器翻譯研究無疑是一筆巨大的財富。但是，由于數(shù)據來源不同、獲取方法粗糙、譯員水平不一等問題，導致數(shù)據的質量和領域存在巨大差異，這些差異性都會影響到機器譯文的質量。此外，受限于計算能力和存儲能力的制約，在單機環(huán)境下已經很難高效的處理TB級以上的大規(guī)模文本語料。本文圍繞上述幾個問

3、題展開研究，嘗試分析并解決語料質量和領域差異對統(tǒng)計機器翻譯帶來的問題。主要工作和創(chuàng)新點包括以下幾點：1基于雙語句對質量的語料篩選。本文提出了兩種語料篩選策略，基于雙語句對長度比值方法和基于詞對齊信息方法。這兩種方法的創(chuàng)新之處是都不需要額外語言學資源如雙語詞典、句法分析器等作為輔助，不需要人工干預，可以自動挑出質量較差的句對，并可以適用于任何語種對。實驗表明，兩種方法均有不錯的效果，可以有效提高統(tǒng)計機器翻譯質量。2雙語平行句對的領域自動分