可比語料中命名實體翻譯等價對抽取方法研究.pdf

1、大規(guī)模的命名實體翻譯等價對可以有效的改進(jìn)機器翻譯、跨語言檢索等系統(tǒng)的性能。因而前人提出了很多抽取命名實體翻譯等價對的方法。早期的方法主要是從平行語料中進(jìn)行抽取，這類方法存在規(guī)模不足、領(lǐng)域局限、不能很好的處理新詞等問題。同平行語料庫相比較，可比語料庫的限制少、易于更新、并且容易獲得。因此現(xiàn)在可比語料中知識的挖掘已成為研究的熱點。
　　 本文提出一種在可比語料庫中，基于多特征的中英命名實體翻譯等價對抽取方法。具體而言，首先從中英可比

2、語料庫中分別抽取中文命名實體和英文命名實體，然后通過計算中英命名實體之間多個特征的特征值得到命名實體匹配對，最后使用基于多特征二值分類模型來判斷命名實體匹配對是否為正確的命名實體翻譯等價對。其中在得到命名實體匹配對時，本文使用了判別訓(xùn)練算法來進(jìn)行多特征的融合。最終得到正確率較高的命名實體翻譯等價對集合。
　　 本文設(shè)計和實現(xiàn)了基于上述方法的命名實體翻譯等價對抽取系統(tǒng)，系統(tǒng)的輸入是中英可比語料；輸出是中英文的命名實體翻譯等價對集合

3、。系統(tǒng)分為4個模塊：(1)中英文命名實體抽取模塊；(2)多個特征的命名實體翻譯等價對匹配模塊；(3)多特征融合模塊；(4)命名實體翻譯等價對對齊模塊。中英文命名實體抽取模塊，分別使用中文命名實體抽取工具和英文命名實體抽取工具，從可比較語料中抽取中文命名實體和英文命名實體。多個特征的命名實體翻譯等價對匹配模塊，使用翻譯模型特征、音譯模型特征、匹配模型特征等六個特征計算得到文命名實體和英文命名實體的匹配對。多特征融合模塊，使用判別訓(xùn)練算法最

4、小樣本風(fēng)險(MSR)算法，計算各個特征的特征參數(shù)進(jìn)行特征融合。命名實體翻譯等價對對齊模塊，將對齊問題轉(zhuǎn)化為分類問題，采用支持向量機(SVM)分類模型，使用翻譯模型、音譯模型等特征，進(jìn)行二值分類，從而判斷出匹配對是否為命名實體翻譯等價對。
　　 本文的主要貢獻(xiàn)有：(1)提出了一套能從可比較語料庫中抽取命名實體翻譯等價對的方法；(2)有效的利用了已有的方法并進(jìn)行有機的整合；通過實驗證明，綜合多特征、特征融合、對齊模型等模塊，該框架可