連續(xù)空間模型下的統(tǒng)計(jì)機(jī)器翻譯.pdf

1、自然語言(人類語言)，是指一個(gè)基于文化特點(diǎn)的，用于正式場(chǎng)合正式場(chǎng)合的交流系統(tǒng)[1]。自然語言處理（計(jì)算語言學(xué))是指應(yīng)用于學(xué)習(xí)、理解和產(chǎn)生自然語言的計(jì)算技術(shù)[2]。統(tǒng)計(jì)機(jī)器翻譯是指利用機(jī)器學(xué)習(xí)為主要手段，用統(tǒng)計(jì)的方法來將一種語言翻譯成另一種語言。作為目前自然語言處理中最流行的方向之一，區(qū)別于基于規(guī)則的機(jī)器翻譯，其翻譯范式是基于統(tǒng)計(jì)模型對(duì)平行雙語語料的分析。其中，基于短語的機(jī)器翻譯長(zhǎng)時(shí)間被認(rèn)為是最為有效的機(jī)器翻譯方法。近年來，隨著計(jì)算機(jī)性能

2、的提升，以神經(jīng)網(wǎng)絡(luò)為代表的基于連續(xù)空間的機(jī)器翻譯開始流行，在不同方面提升了機(jī)器翻譯的表現(xiàn)：比如語言模型，翻譯模型和一體化端對(duì)端的機(jī)器翻譯模型等。
　　雖然連續(xù)空間模型在機(jī)器翻譯中得到了效果的提升，但是其也有顯著的缺點(diǎn)，其中最為代表性的是：
　　1)由于采取了非線性的模型，雖然很多工作著力于優(yōu)化相應(yīng)模型，但是訓(xùn)練和運(yùn)算時(shí)間相對(duì)于線性模型仍然較慢。
　　2)以神經(jīng)網(wǎng)絡(luò)模型為代表的連續(xù)空間模型往往采用特征自動(dòng)學(xué)習(xí)的方法，這樣

3、帶來的優(yōu)點(diǎn)是可以自動(dòng)提取特征，避免了人工的特征選擇，但是反過來，一些有意義的語義信息被忽略了。
　　基于以上已有方法的缺點(diǎn)，本文從基于神經(jīng)網(wǎng)絡(luò)模型和圖模型這兩個(gè)連續(xù)空間模型的角度，提升機(jī)器翻譯的表現(xiàn)。在神經(jīng)網(wǎng)絡(luò)模型方面：
　　1）我們提出了一種將連續(xù)空間語言模型轉(zhuǎn)化為線性語言模型的方法，該方法可以使連續(xù)空間語言模型在保持高性能的前提下，以線性語言模型的速度進(jìn)行解碼運(yùn)算。
　　2）我們提出了拼接短語這一語言學(xué)概念，利用神

4、經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性，我們將拼接短語與神經(jīng)網(wǎng)絡(luò)結(jié)合起來，用于提高機(jī)器翻譯的自適應(yīng)性和可擴(kuò)展性。在圖模型方面，我們提出了一個(gè)新的雙語語義單元–雙語上下文詞團(tuán)(Bilingual Contexonym Cliques,BCC)。區(qū)別于目前已有的直接利用上下文或者滑動(dòng)窗口的詞空間表示方法，BCC蘊(yùn)含更多的語義信息?；贐CC，我們構(gòu)建了雙語圖語義模型，其可以用于提升基于短語的機(jī)器翻譯的表現(xiàn)。
　　本文提出的各種算法均在國(guó)際公開測(cè)評(píng)的語料(例