基于Web的英漢雙向未登錄詞翻譯方法研究.pdf

1、隨著信息技術(shù)的發(fā)展，層出不窮的新詞、術(shù)語(yǔ)不斷涌現(xiàn)，基于詞典的翻譯已越來(lái)越不能滿足跨語(yǔ)言信息檢索性能的要求，未登錄詞(Out Of Vocabulary，OOV)翻譯已成為跨語(yǔ)言信息檢索中極其重要且充滿挑戰(zhàn)的問(wèn)題。近年來(lái)，基于Web的未登錄詞翻譯研究發(fā)展迅速，然而其中仍存在很多關(guān)鍵問(wèn)題有待進(jìn)一步分析和解決。
　　針對(duì)面向英漢雙向的未登錄詞翻譯，本文提出一種基于Web挖掘和Ranking-SVM排序的統(tǒng)計(jì)未登錄詞翻譯模型。其中，針對(duì)漢

2、語(yǔ)分詞的難點(diǎn)，建立基于簡(jiǎn)化PAT-Tree抽取計(jì)算的無(wú)詞典翻譯候選抽取模式；針對(duì)翻譯對(duì)評(píng)估手段的難點(diǎn)，提出基于有監(jiān)督學(xué)習(xí)Ranking-SVM的翻譯對(duì)準(zhǔn)確度排序模式。這種組合模型在漢語(yǔ)未登錄詞識(shí)別方面不僅借鑒PAT-Tree方法，對(duì)詞串成詞可信度計(jì)算作以相當(dāng)程度的簡(jiǎn)化。更重要的是，在翻譯對(duì)的相關(guān)度衡量方面，引入基于支持向量機(jī)與Ranking-SVM的有監(jiān)督學(xué)習(xí)方法。該方式能更好地融合翻譯候選詞的各個(gè)特征，對(duì)于所抽取的短語(yǔ)或詞串與原有未登

3、錄詞之間的相關(guān)程度，給出較為準(zhǔn)確的評(píng)估。
　　本文提出相對(duì)客觀的評(píng)價(jià)標(biāo)準(zhǔn)。比如，為了衡量翻譯候選詞單個(gè)特征的性能，使用CoNLL-2003語(yǔ)料進(jìn)行訓(xùn)練和測(cè)試；為了衡量漢譯英的整體性能，本文又使用SIGHAN2008中由北京大學(xué)所提供的用于命名實(shí)體識(shí)別(Named EntityRecognition，NER)評(píng)測(cè)任務(wù)的訓(xùn)練語(yǔ)料，這使得我們的實(shí)驗(yàn)結(jié)果相對(duì)公正客觀，具有一定的可比性。本文針對(duì)目前基于搜索結(jié)果未登錄詞翻譯模型研究的特征集合