統(tǒng)計機器翻譯領域自適應的研究.pdf

1、統(tǒng)計機器翻譯的準確性在很大程度上取決于翻譯建模的質(zhì)量，而翻譯建模往往依賴于數(shù)據(jù)的分布。通常上，大多數(shù)機器學習任務會假設訓練數(shù)據(jù)和測試數(shù)據(jù)是獨立同分布的，然而在實際的系統(tǒng)中，這種假設未必成立。因此，為了達到性能的最優(yōu)，需要根據(jù)數(shù)據(jù)分布的情況對模型進行適當?shù)倪w移。近年來，領域自適應技術成為統(tǒng)計機器翻譯研究中的一個熱點話題，目的在于解決訓練數(shù)據(jù)和測試數(shù)據(jù)的領域分布不一致問題。通過進行領域自適應，使得模型更符合測試數(shù)據(jù)分布，進而得到更好的翻譯結

2、果。
　　本文主要針對統(tǒng)計機器翻譯領域自適應中四種問題提出相應的研究方法。第一，針對統(tǒng)計機器翻譯領域自適應的數(shù)據(jù)獲取和加工問題，提出一種基于圖隨機游走的領域自適應數(shù)據(jù)處理方法。統(tǒng)計機器翻譯的領域自適應研究需要大量的領域訓練數(shù)據(jù)，這些數(shù)據(jù)的質(zhì)量對翻譯系統(tǒng)性能有很大影響，這是因為低質(zhì)量的訓練數(shù)據(jù)會導致錯誤的翻譯知識進而影響翻譯建模的質(zhì)量。傳統(tǒng)的數(shù)據(jù)處理方法通常利用有監(jiān)督學習策略過濾低質(zhì)量數(shù)據(jù)，然而這種方法需要大量的標注數(shù)據(jù)才能實現(xiàn)，這

3、在特定領域往往是不存在的。為了減少對標注數(shù)據(jù)的依賴，我們提出一種無監(jiān)督的圖隨機游走方法進行數(shù)據(jù)去噪，這種方法基于高質(zhì)量訓練句對和高質(zhì)量翻譯規(guī)則能夠互相影響的假設，利用二者的互推薦機制進行建模。實驗結果表明這種方法可以有效地對訓練數(shù)據(jù)進行去噪，從而提高了機器翻譯性能。
　　第二，針對受限的多領域自適應問題，提出一種基于多任務學習的領域自適應方法。傳統(tǒng)統(tǒng)計機器翻譯領域自適應的研究通常是將模型遷移至一個具體的領域，然而，這種模型遷移往往

4、無法利用不同領域中的共性翻譯知識，因而無法做到同時提高多個領域的翻譯性能?；诙嗳蝿諏W習的方法利用了多任務學習機制進行多領域的自動模型遷移，其中為每個領域獨自學習領域內(nèi)模型，不同領域共享同一個通用模型。通過多任務學習的方法，這些模型可以進行聯(lián)合調(diào)參，使得模型學習更為準確。因此，這種方法可以顯著一致地提高多個領域的翻譯準確性，并且優(yōu)于獨立進行模型遷移的方法。
　　第三，針對開放領域自適應問題，提出一種基于深度學習的領域自適應方法。基

5、于多任務學習的領域自適應方法僅僅考慮句子內(nèi)部的上下文，無法利用更廣泛的篇章級別上下文語境信息。我們進一步提出基于深度學習的領域自適應方法，通過利用大量的話題相關單語文本的信息，使用神經(jīng)網(wǎng)絡的結構學習雙語對照數(shù)據(jù)的話題表示。在翻譯過程中，將話題表示附著至每條翻譯規(guī)則上，這樣在翻譯解碼時，就可以通過相似度量來選擇和源語言話題相似的翻譯規(guī)則。相比于基準系統(tǒng)和其他話題表示學習的方法，基于深度學習的話題表示能夠顯著地提高機器翻譯系統(tǒng)的質(zhì)量。

6、>　　第四，針對在線實時獲取領域翻譯知識進行開放領域自適應的問題，提出一種基于互聯(lián)網(wǎng)實時檢索的領域自適應方法。當今的統(tǒng)計機器翻譯系統(tǒng)通常依賴大規(guī)?；ヂ?lián)網(wǎng)抓取的離線數(shù)據(jù)進行翻譯模型和語言模型的訓練。相比較于傳統(tǒng)的方法，我們創(chuàng)新性地提出一種將機器翻譯看作是信息檢索問題，通過實時互聯(lián)網(wǎng)檢索獲取最新的翻譯知識。這種方法利用實時檢索獲取互聯(lián)網(wǎng)中出現(xiàn)的最新數(shù)據(jù)，并抽取最新的短語級別翻譯知識并生成句子級別翻譯結果。這種基于互聯(lián)網(wǎng)實時檢索的機器翻譯技術