統(tǒng)計(jì)機(jī)器翻譯領(lǐng)域自適應(yīng)的研究.pdf

1、統(tǒng)計(jì)機(jī)器翻譯的準(zhǔn)確性在很大程度上取決于翻譯建模的質(zhì)量，而翻譯建模往往依賴于數(shù)據(jù)的分布。通常上，大多數(shù)機(jī)器學(xué)習(xí)任務(wù)會(huì)假設(shè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)是獨(dú)立同分布的，然而在實(shí)際的系統(tǒng)中，這種假設(shè)未必成立。因此，為了達(dá)到性能的最優(yōu)，需要根據(jù)數(shù)據(jù)分布的情況對(duì)模型進(jìn)行適當(dāng)?shù)倪w移。近年來，領(lǐng)域自適應(yīng)技術(shù)成為統(tǒng)計(jì)機(jī)器翻譯研究中的一個(gè)熱點(diǎn)話題，目的在于解決訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的領(lǐng)域分布不一致問題。通過進(jìn)行領(lǐng)域自適應(yīng)，使得模型更符合測(cè)試數(shù)據(jù)分布，進(jìn)而得到更好的翻譯結(jié)

2、果。
　　本文主要針對(duì)統(tǒng)計(jì)機(jī)器翻譯領(lǐng)域自適應(yīng)中四種問題提出相應(yīng)的研究方法。第一，針對(duì)統(tǒng)計(jì)機(jī)器翻譯領(lǐng)域自適應(yīng)的數(shù)據(jù)獲取和加工問題，提出一種基于圖隨機(jī)游走的領(lǐng)域自適應(yīng)數(shù)據(jù)處理方法。統(tǒng)計(jì)機(jī)器翻譯的領(lǐng)域自適應(yīng)研究需要大量的領(lǐng)域訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)的質(zhì)量對(duì)翻譯系統(tǒng)性能有很大影響，這是因?yàn)榈唾|(zhì)量的訓(xùn)練數(shù)據(jù)會(huì)導(dǎo)致錯(cuò)誤的翻譯知識(shí)進(jìn)而影響翻譯建模的質(zhì)量。傳統(tǒng)的數(shù)據(jù)處理方法通常利用有監(jiān)督學(xué)習(xí)策略過濾低質(zhì)量數(shù)據(jù)，然而這種方法需要大量的標(biāo)注數(shù)據(jù)才能實(shí)現(xiàn)，這

3、在特定領(lǐng)域往往是不存在的。為了減少對(duì)標(biāo)注數(shù)據(jù)的依賴，我們提出一種無監(jiān)督的圖隨機(jī)游走方法進(jìn)行數(shù)據(jù)去噪，這種方法基于高質(zhì)量訓(xùn)練句對(duì)和高質(zhì)量翻譯規(guī)則能夠互相影響的假設(shè)，利用二者的互推薦機(jī)制進(jìn)行建模。實(shí)驗(yàn)結(jié)果表明這種方法可以有效地對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行去噪，從而提高了機(jī)器翻譯性能。
　　第二，針對(duì)受限的多領(lǐng)域自適應(yīng)問題，提出一種基于多任務(wù)學(xué)習(xí)的領(lǐng)域自適應(yīng)方法。傳統(tǒng)統(tǒng)計(jì)機(jī)器翻譯領(lǐng)域自適應(yīng)的研究通常是將模型遷移至一個(gè)具體的領(lǐng)域，然而，這種模型遷移往往

4、無法利用不同領(lǐng)域中的共性翻譯知識(shí)，因而無法做到同時(shí)提高多個(gè)領(lǐng)域的翻譯性能。基于多任務(wù)學(xué)習(xí)的方法利用了多任務(wù)學(xué)習(xí)機(jī)制進(jìn)行多領(lǐng)域的自動(dòng)模型遷移，其中為每個(gè)領(lǐng)域獨(dú)自學(xué)習(xí)領(lǐng)域內(nèi)模型，不同領(lǐng)域共享同一個(gè)通用模型。通過多任務(wù)學(xué)習(xí)的方法，這些模型可以進(jìn)行聯(lián)合調(diào)參，使得模型學(xué)習(xí)更為準(zhǔn)確。因此，這種方法可以顯著一致地提高多個(gè)領(lǐng)域的翻譯準(zhǔn)確性，并且優(yōu)于獨(dú)立進(jìn)行模型遷移的方法。
　　第三，針對(duì)開放領(lǐng)域自適應(yīng)問題，提出一種基于深度學(xué)習(xí)的領(lǐng)域自適應(yīng)方法。基

5、于多任務(wù)學(xué)習(xí)的領(lǐng)域自適應(yīng)方法僅僅考慮句子內(nèi)部的上下文，無法利用更廣泛的篇章級(jí)別上下文語境信息。我們進(jìn)一步提出基于深度學(xué)習(xí)的領(lǐng)域自適應(yīng)方法，通過利用大量的話題相關(guān)單語文本的信息，使用神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)雙語對(duì)照數(shù)據(jù)的話題表示。在翻譯過程中，將話題表示附著至每條翻譯規(guī)則上，這樣在翻譯解碼時(shí)，就可以通過相似度量來選擇和源語言話題相似的翻譯規(guī)則。相比于基準(zhǔn)系統(tǒng)和其他話題表示學(xué)習(xí)的方法，基于深度學(xué)習(xí)的話題表示能夠顯著地提高機(jī)器翻譯系統(tǒng)的質(zhì)量。

6、>　　第四，針對(duì)在線實(shí)時(shí)獲取領(lǐng)域翻譯知識(shí)進(jìn)行開放領(lǐng)域自適應(yīng)的問題，提出一種基于互聯(lián)網(wǎng)實(shí)時(shí)檢索的領(lǐng)域自適應(yīng)方法。當(dāng)今的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)通常依賴大規(guī)?；ヂ?lián)網(wǎng)抓取的離線數(shù)據(jù)進(jìn)行翻譯模型和語言模型的訓(xùn)練。相比較于傳統(tǒng)的方法，我們創(chuàng)新性地提出一種將機(jī)器翻譯看作是信息檢索問題，通過實(shí)時(shí)互聯(lián)網(wǎng)檢索獲取最新的翻譯知識(shí)。這種方法利用實(shí)時(shí)檢索獲取互聯(lián)網(wǎng)中出現(xiàn)的最新數(shù)據(jù)，并抽取最新的短語級(jí)別翻譯知識(shí)并生成句子級(jí)別翻譯結(jié)果。這種基于互聯(lián)網(wǎng)實(shí)時(shí)檢索的機(jī)器翻譯技術(shù)