統(tǒng)計(jì)機(jī)器翻譯判別式訓(xùn)練方法研究.pdf

1、過(guò)去二十多年,統(tǒng)計(jì)機(jī)器翻譯取得了很大的成功;但是它還遠(yuǎn)不能滿足人們的需求,它仍然需要進(jìn)一步的發(fā)展和改善。在當(dāng)前的形勢(shì)下,從數(shù)學(xué)模型的角度來(lái)看,統(tǒng)計(jì)機(jī)器翻譯的一個(gè)發(fā)展趨勢(shì)就是,從少特征、小模型到多特征、大模型的過(guò)渡;從線性到非線性模型的演變。按照翻譯模型這個(gè)發(fā)展趨勢(shì),本文從目前最主流的對(duì)數(shù)線性翻譯模型出發(fā),以判別式訓(xùn)練作為主要線索,主要研究了如下四個(gè)方面的內(nèi)容:
　　(1)對(duì)于含有少數(shù)特征的對(duì)數(shù)線性模型,現(xiàn)有最成功的判別式學(xué)習(xí)算法M

2、ERT遭遇了不穩(wěn)定性。由于在每次優(yōu)化步k-best翻譯列表會(huì)發(fā)生變化,這就意味著定義在k-best翻譯列表之上的優(yōu)化目標(biāo)函數(shù)會(huì)發(fā)生變化,從而引起優(yōu)化權(quán)重的“震蕩”現(xiàn)象,同時(shí)引起了MERT的不穩(wěn)定性。本文在設(shè)計(jì)判別式訓(xùn)練的優(yōu)化目標(biāo)時(shí),采用了極端保守更新的思想來(lái)抑制優(yōu)化權(quán)重“震蕩”現(xiàn)象,提出了基于極端保守更新的最小期望錯(cuò)誤率訓(xùn)練方法。該訓(xùn)練方法采用基于梯度投影的學(xué)習(xí)算法來(lái)實(shí)現(xiàn),因而它的實(shí)現(xiàn)比MERT簡(jiǎn)單。實(shí)驗(yàn)表明,這個(gè)訓(xùn)練算法的性能比MER

3、T更好。
　　(2)對(duì)于含有大規(guī)模稀疏特征的翻譯模型,雖然現(xiàn)有的可擴(kuò)展的訓(xùn)練方法從訓(xùn)練效率上來(lái)說(shuō),能夠勉強(qiáng)運(yùn)用于訓(xùn)練這樣的翻譯模型,但是這些訓(xùn)練方法由于遭遇嚴(yán)重的特征稀疏性而導(dǎo)致翻譯性能不佳。本文就特征稀疏性,研究了兩個(gè)實(shí)用的應(yīng)對(duì)技術(shù)-擴(kuò)大開(kāi)發(fā)集和L1正則,不過(guò)由于一些其他的原因,這兩個(gè)技術(shù)并不足以解決特征稀疏這個(gè)問(wèn)題。為此,本文提出了一個(gè)基于OSCAR的自動(dòng)特征分組的訓(xùn)練方法。為了有效地學(xué)習(xí)特征的分組結(jié)構(gòu),本文提出了一個(gè)在線學(xué)習(xí)

4、方法。實(shí)驗(yàn)結(jié)果表明,這個(gè)訓(xùn)練方法取得了比現(xiàn)有方法更好的性能。
　　(3)基于對(duì)數(shù)線性模型的所有現(xiàn)有訓(xùn)練方法均存在如下兩個(gè)不足:首先,它們的性能嚴(yán)重依賴于開(kāi)發(fā)集的選擇,而通常適合測(cè)試任務(wù)的開(kāi)發(fā)集往往很難獲得,這樣容易導(dǎo)致由于采用了不合適的開(kāi)發(fā)集進(jìn)行訓(xùn)練,測(cè)試性能很差;其次,這些訓(xùn)練方法都是針對(duì)給定的開(kāi)發(fā)集,訓(xùn)練出一個(gè)權(quán)重,而這個(gè)權(quán)重不能保證所有測(cè)試句子翻譯結(jié)果的一致性。為了解決這兩個(gè)問(wèn)題,本文提出了一個(gè)局部訓(xùn)練的方法,與現(xiàn)有的方法明

5、顯不同,它為每個(gè)測(cè)試句子訓(xùn)練一個(gè)權(quán)重。局部訓(xùn)練方法的一個(gè)瓶頸是訓(xùn)練效率問(wèn)題,本文提出了一個(gè)增量式的訓(xùn)練方法來(lái)克服這個(gè)瓶頸。需要強(qiáng)調(diào)的是,從測(cè)試時(shí)的決策函數(shù)來(lái)看,局部訓(xùn)練方法對(duì)應(yīng)于一個(gè)非線性翻譯模型。
　　(4)基于對(duì)數(shù)線性的翻譯模型,在建模翻譯現(xiàn)象時(shí),存在如下兩個(gè)局限性:它嚴(yán)格要求特征同模型函數(shù)之間的線性關(guān)系,容易引起建模的不充分;不能對(duì)于其中的表面特征進(jìn)行進(jìn)一步的抽象和解釋。采用神經(jīng)網(wǎng)絡(luò)對(duì)于翻譯進(jìn)行建模是緩和上述問(wèn)題的一個(gè)潛在途