云翻譯平臺(tái)下基于海量語料的統(tǒng)計(jì)機(jī)器翻譯方法研究.pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體己經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：彳艙侈砂易

2、年f月2》Et摘要隨著信息技術(shù)的不斷進(jìn)步和計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，每天在互聯(lián)網(wǎng)上傳播的信息和知識(shí)達(dá)到以往數(shù)倍。同時(shí)，現(xiàn)實(shí)領(lǐng)域中也產(chǎn)生了海量的雙語數(shù)據(jù)，這些數(shù)據(jù)對(duì)于統(tǒng)計(jì)機(jī)器翻譯研究無疑是一筆巨大的財(cái)富。但是，由于數(shù)據(jù)來源不同、獲取方法粗糙、譯員水平不一等問題，導(dǎo)致數(shù)據(jù)的質(zhì)量和領(lǐng)域存在巨大差異，這些差異性都會(huì)影響到機(jī)器譯文的質(zhì)量。此外，受限于計(jì)算能力和存儲(chǔ)能力的制約，在單機(jī)環(huán)境下已經(jīng)很難高效的處理TB級(jí)以上的大規(guī)模文本語料。本文圍繞上述幾個(gè)問

3、題展開研究，嘗試分析并解決語料質(zhì)量和領(lǐng)域差異對(duì)統(tǒng)計(jì)機(jī)器翻譯帶來的問題。主要工作和創(chuàng)新點(diǎn)包括以下幾點(diǎn)：1基于雙語句對(duì)質(zhì)量的語料篩選。本文提出了兩種語料篩選策略，基于雙語句對(duì)長(zhǎng)度比值方法和基于詞對(duì)齊信息方法。這兩種方法的創(chuàng)新之處是都不需要額外語言學(xué)資源如雙語詞典、句法分析器等作為輔助，不需要人工干預(yù)，可以自動(dòng)挑出質(zhì)量較差的句對(duì)，并可以適用于任何語種對(duì)。實(shí)驗(yàn)表明，兩種方法均有不錯(cuò)的效果，可以有效提高統(tǒng)計(jì)機(jī)器翻譯質(zhì)量。2雙語平行句對(duì)的領(lǐng)域自動(dòng)分