可比語(yǔ)料中命名實(shí)體翻譯等價(jià)對(duì)抽取方法研究.pdf

1、大規(guī)模的命名實(shí)體翻譯等價(jià)對(duì)可以有效的改進(jìn)機(jī)器翻譯、跨語(yǔ)言檢索等系統(tǒng)的性能。因而前人提出了很多抽取命名實(shí)體翻譯等價(jià)對(duì)的方法。早期的方法主要是從平行語(yǔ)料中進(jìn)行抽取，這類方法存在規(guī)模不足、領(lǐng)域局限、不能很好的處理新詞等問(wèn)題。同平行語(yǔ)料庫(kù)相比較，可比語(yǔ)料庫(kù)的限制少、易于更新、并且容易獲得。因此現(xiàn)在可比語(yǔ)料中知識(shí)的挖掘已成為研究的熱點(diǎn)。
　　 本文提出一種在可比語(yǔ)料庫(kù)中，基于多特征的中英命名實(shí)體翻譯等價(jià)對(duì)抽取方法。具體而言，首先從中英可比

2、語(yǔ)料庫(kù)中分別抽取中文命名實(shí)體和英文命名實(shí)體，然后通過(guò)計(jì)算中英命名實(shí)體之間多個(gè)特征的特征值得到命名實(shí)體匹配對(duì)，最后使用基于多特征二值分類模型來(lái)判斷命名實(shí)體匹配對(duì)是否為正確的命名實(shí)體翻譯等價(jià)對(duì)。其中在得到命名實(shí)體匹配對(duì)時(shí)，本文使用了判別訓(xùn)練算法來(lái)進(jìn)行多特征的融合。最終得到正確率較高的命名實(shí)體翻譯等價(jià)對(duì)集合。
　　 本文設(shè)計(jì)和實(shí)現(xiàn)了基于上述方法的命名實(shí)體翻譯等價(jià)對(duì)抽取系統(tǒng)，系統(tǒng)的輸入是中英可比語(yǔ)料；輸出是中英文的命名實(shí)體翻譯等價(jià)對(duì)集合

3、。系統(tǒng)分為4個(gè)模塊：(1)中英文命名實(shí)體抽取模塊；(2)多個(gè)特征的命名實(shí)體翻譯等價(jià)對(duì)匹配模塊；(3)多特征融合模塊；(4)命名實(shí)體翻譯等價(jià)對(duì)對(duì)齊模塊。中英文命名實(shí)體抽取模塊，分別使用中文命名實(shí)體抽取工具和英文命名實(shí)體抽取工具，從可比較語(yǔ)料中抽取中文命名實(shí)體和英文命名實(shí)體。多個(gè)特征的命名實(shí)體翻譯等價(jià)對(duì)匹配模塊，使用翻譯模型特征、音譯模型特征、匹配模型特征等六個(gè)特征計(jì)算得到文命名實(shí)體和英文命名實(shí)體的匹配對(duì)。多特征融合模塊，使用判別訓(xùn)練算法最

4、小樣本風(fēng)險(xiǎn)(MSR)算法，計(jì)算各個(gè)特征的特征參數(shù)進(jìn)行特征融合。命名實(shí)體翻譯等價(jià)對(duì)對(duì)齊模塊，將對(duì)齊問(wèn)題轉(zhuǎn)化為分類問(wèn)題，采用支持向量機(jī)(SVM)分類模型，使用翻譯模型、音譯模型等特征，進(jìn)行二值分類，從而判斷出匹配對(duì)是否為命名實(shí)體翻譯等價(jià)對(duì)。
　　 本文的主要貢獻(xiàn)有：(1)提出了一套能從可比較語(yǔ)料庫(kù)中抽取命名實(shí)體翻譯等價(jià)對(duì)的方法；(2)有效的利用了已有的方法并進(jìn)行有機(jī)的整合；通過(guò)實(shí)驗(yàn)證明，綜合多特征、特征融合、對(duì)齊模型等模塊，該框架可