中介語(yǔ)統(tǒng)計(jì)機(jī)器翻譯模型若干改進(jìn)研究.pdf

1、在統(tǒng)計(jì)機(jī)器翻譯中，基于句法的方法、基于短語(yǔ)的方法比基于詞的方法更有效。這些方法都需要大規(guī)模的雙語(yǔ)平行語(yǔ)料，然而，對(duì)于一些語(yǔ)言來(lái)說(shuō)，僅有部分小規(guī)模的雙語(yǔ)平行語(yǔ)料是可以利用的，這種數(shù)據(jù)稀疏的情況會(huì)降低統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)的效果。對(duì)于這個(gè)問(wèn)題，本文在基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯中利用中介語(yǔ)的方法做了一些實(shí)驗(yàn)，并在此過(guò)程中，我們發(fā)現(xiàn)還有很多地方需要改進(jìn)。
　　在基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中，由于不同的語(yǔ)言之間存在著數(shù)量規(guī)模不等的雙語(yǔ)平行語(yǔ)料，對(duì)于那

2、些存在少量雙語(yǔ)平行語(yǔ)料的語(yǔ)言而言，在做統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)搭建的時(shí)候，由于統(tǒng)計(jì)機(jī)器翻譯嚴(yán)重依賴(lài)于大量的平行語(yǔ)料庫(kù)，此時(shí)雙邊平行語(yǔ)料的不足引起的數(shù)據(jù)稀疏問(wèn)題，會(huì)導(dǎo)致機(jī)器翻譯的效果嚴(yán)重降低。這種現(xiàn)象，在不同語(yǔ)系之間的統(tǒng)計(jì)機(jī)器翻譯過(guò)程中更加明顯。在統(tǒng)計(jì)機(jī)器翻譯中，解決這類(lèi)問(wèn)題的一個(gè)行之有效的方法是引入另外一種語(yǔ)言作為一個(gè)“橋梁”來(lái)搭建源語(yǔ)言S與目標(biāo)語(yǔ)言T之間的翻譯系統(tǒng)，實(shí)現(xiàn)源語(yǔ)言S、目標(biāo)語(yǔ)言T之間的統(tǒng)計(jì)機(jī)器翻譯。
　　本文工作建立在基于短語(yǔ)

3、的統(tǒng)計(jì)機(jī)器翻譯之上，利用中介語(yǔ)的方法在解決數(shù)據(jù)稀疏等問(wèn)題;同時(shí)，力圖改進(jìn)短語(yǔ)模型系統(tǒng)，提高基于短語(yǔ)的統(tǒng)計(jì)機(jī)譯系統(tǒng)的效果。簡(jiǎn)而言之，本文圍繞中介語(yǔ)模型中的斷路現(xiàn)象、中介語(yǔ)模型中意外引進(jìn)的“噪音”問(wèn)題等進(jìn)行了深入的研究，并獲得了一些成果。
　　在基于中介語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯的過(guò)程中，我們?cè)谠凑Z(yǔ)言、中介語(yǔ)之間建立了S-P的翻譯模型，在中介語(yǔ)、目標(biāo)語(yǔ)言之間建立了P-T的翻譯模型。但是，由于不同語(yǔ)言之間存在著差異，導(dǎo)致源語(yǔ)言翻譯到目標(biāo)語(yǔ)言之間出

4、現(xiàn)“中介語(yǔ)斷路”的現(xiàn)象。特別是在一些口語(yǔ)化的語(yǔ)料中，人們因?yàn)槭褂玫牧?xí)慣長(zhǎng)期省略了某些功能詞，在人際交往中或許可以被理解，但是在統(tǒng)計(jì)機(jī)器翻譯中，卻會(huì)造成很大的失誤。我們提出了利用復(fù)述技術(shù)的方法，改進(jìn)了原有的中介語(yǔ)模型，減少了中介語(yǔ)斷路現(xiàn)象，提高了統(tǒng)計(jì)機(jī)器翻譯的效果。
　　不管是源語(yǔ)言的詞還是目標(biāo)語(yǔ)言的詞;或者是中介語(yǔ)的詞;在基于短語(yǔ)的機(jī)器翻譯模型中，幾乎很難避免一詞多義現(xiàn)象。這種情況，給我們的基于中介語(yǔ)的方法造成了很大的障礙。我們?cè)?/p>

5、S-P的翻譯模型中發(fā)現(xiàn)，源語(yǔ)言詞對(duì)存在的多義詞會(huì)分別被翻譯成不同的多個(gè)中介語(yǔ)的詞，這樣就會(huì)對(duì)翻譯到目標(biāo)語(yǔ)言的詞造成干擾。翻譯系統(tǒng)不需要的那些詞被稱(chēng)為“噪音”。為了改進(jìn)這個(gè)問(wèn)題，我們運(yùn)用了分布式表達(dá)的方法，用word2vec獲得了不同詞的詞向量，再通過(guò)編程實(shí)現(xiàn)維度轉(zhuǎn)化后計(jì)算了余弦值，找出了最可能的翻譯詞對(duì)。成功剔除了“噪音”，改進(jìn)了基于中介語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯。最后，我們的實(shí)驗(yàn)證明了通過(guò)復(fù)述技術(shù)可以擴(kuò)充短語(yǔ)表的規(guī)模，更有效的解決“中介語(yǔ)斷路”