基于歸納學(xué)習(xí)法的日語假名和漢語實體對自動獲取方法.pdf

1、命名實體的翻譯等價對在跨語言信息處理中非常重要，其在機(jī)器翻譯、自動文摘、跨語言信息檢索和自動問答系統(tǒng)等都有著重要的應(yīng)用。傳統(tǒng)抽取方法通常使用平行語料庫或可比語料庫，此類方法受到語料庫資源的質(zhì)量和規(guī)模的限制。在日漢翻譯領(lǐng)域，一方面，雙語資源相對匱乏;另一方面，對于漢字命名實體，通常使用漢字對照表;對于日語純假名的命名實體，通常采用統(tǒng)計翻譯模型，此類方法受到平行語料庫的質(zhì)量和規(guī)模的限制，且精度低下。針對此問題，本文提出了一種基于歸納學(xué)習(xí)法的

2、日語假名和漢語實體對的自動獲取方法。該方法首先使用條件隨機(jī)場模型，分別從日語和漢語語料庫中抽取日語和漢語命名實體;并將其轉(zhuǎn)換為羅馬字序列和拼音序列，通過相似度計算進(jìn)行實例篩選;然后，采用基于實例的歸納學(xué)習(xí)法自動獲取命名實體的日漢音譯規(guī)則庫，并通過反饋學(xué)習(xí)來迭代重構(gòu)音譯規(guī)則庫。使用音譯規(guī)則庫計算日漢命名實體之間的相似度，給定閾值判定命名實體翻譯等價對。實驗結(jié)果表明，提出方法簡單高效，在實現(xiàn)系統(tǒng)高精度的同時，克服了傳統(tǒng)方法對雙語資源的依賴性