基于非參數(shù)貝葉斯學(xué)習(xí)的多語(yǔ)言人名音譯研究.pdf

1、隨著信息時(shí)代的到來(lái),互聯(lián)網(wǎng)上包含來(lái)自世界各地的大量文化、科技、生活、娛樂(lè)信息。為了讓人們能夠輕松的檢索、閱讀各種語(yǔ)言撰寫(xiě)的信息,機(jī)器翻譯、跨語(yǔ)言信息檢索和抽取等自然語(yǔ)言處理技術(shù)成為了迫切的需求。音譯是這些跨語(yǔ)言自然語(yǔ)言處理技術(shù)的重要基礎(chǔ);是大多數(shù)命名實(shí)體和未登錄詞的翻譯方式;人名作為命名實(shí)體和未登錄詞的主要成分是音譯的主體。本文將主要研究基于統(tǒng)計(jì)的人名音譯方法,并結(jié)合基于規(guī)則的方法實(shí)現(xiàn)多語(yǔ)言間人名音譯。
　　音譯主要分為基于規(guī)則的

2、方法和基于統(tǒng)計(jì)的方法兩類(lèi):基于規(guī)則的方法通過(guò)人工建立雙語(yǔ)音節(jié)切分和對(duì)齊的規(guī)則實(shí)現(xiàn)音譯;基于統(tǒng)計(jì)的方法通過(guò)對(duì)大量雙語(yǔ)人名對(duì)語(yǔ)料上進(jìn)行統(tǒng)計(jì)分析來(lái)構(gòu)建對(duì)齊模型和解碼模型,也是目前音譯的主流研究方法。本課題主要研究基于統(tǒng)計(jì)的音譯方法,同時(shí)結(jié)合基于規(guī)則的方法實(shí)現(xiàn)英、西班牙、俄、日四種語(yǔ)言到中文的人名音譯,最后搭建在線(xiàn)音譯系統(tǒng)整合這四個(gè)音譯模型。本文的主要的工作與貢獻(xiàn)點(diǎn)如下:
　　(1)針對(duì)基于統(tǒng)計(jì)音譯方法中的對(duì)齊模型常遇到的過(guò)擬合問(wèn)題和人名

3、多起源問(wèn)題,提出非參數(shù)貝葉斯方法“緊密耦合的狄利克雷混合模型(coupledDirichletprocessmixturemodel,cDPMM)”進(jìn)行音譯的聚類(lèi)和對(duì)齊。cDPMM采用狄利克雷過(guò)程進(jìn)行人名對(duì)的雙語(yǔ)切分,實(shí)現(xiàn)音節(jié)的對(duì)齊;再根據(jù)人名起源(雙語(yǔ)人名對(duì)的音譯對(duì)齊相似度)利用狄利克雷混合模型實(shí)現(xiàn)雙語(yǔ)人名對(duì)的無(wú)監(jiān)督聚類(lèi)。cDPMM將雙語(yǔ)切分對(duì)齊和人名聚類(lèi)緊密的耦合到一個(gè)模型中,讓對(duì)齊和聚類(lèi)的結(jié)果在每輪采樣中相互作用。
　　(2

4、)采用基于短語(yǔ)的Moses系統(tǒng)的解碼器進(jìn)行音譯解碼,對(duì)抽取的短語(yǔ)表融合:短語(yǔ)起源區(qū)分度、短語(yǔ)字符數(shù)比、短語(yǔ)音節(jié)數(shù)比三個(gè)新特征;我們對(duì)音譯解碼的N-best結(jié)果,根據(jù)N-grams特征、源和目標(biāo)人名音節(jié)數(shù)比、音譯系統(tǒng)排序三類(lèi)特征在log-linear原理下進(jìn)行重排序。實(shí)驗(yàn)結(jié)果證明我們的解碼特征和重排序方法提高了音譯準(zhǔn)確率。
　　(3)把提出的基于統(tǒng)計(jì)的方法應(yīng)用到英-中、西班牙-中的人名音譯;采用基于統(tǒng)計(jì)和規(guī)則相結(jié)合的方法克服俄-中和