多策略英漢詞對齊技術(shù)的研究.pdf

1、詞語對齊的目標(biāo)在于指明平行文本片段之間的對應(yīng)關(guān)系，最早是作為統(tǒng)計(jì)翻譯模型的中間產(chǎn)物而被提出。在英漢詞對齊技術(shù)研究中，詞形、語義、句法的多樣性和靈活性，未登錄詞及分詞錯(cuò)誤等不利因素，一定程度上直接或間接影響了詞對齊的質(zhì)量。人們嘗試結(jié)合不同的信息來提高詞對齊的質(zhì)量并獲得了很好的成績。
　　迄今為止，出現(xiàn)了很多高準(zhǔn)確率的詞對齊算法，每種典型的算法自身都有其特有的優(yōu)勢。如基于統(tǒng)計(jì)的方法，可以識別一定數(shù)量的未登錄詞，不足之處是需要大規(guī)模的雙

2、語句對作為支撐；基于詞典的方法可靠性較高，但不能識別未登錄詞；基于知網(wǎng)的方法一定程度上可以處理語義信息，但詞匯量十分有限，義原的定義還有待進(jìn)一步細(xì)化。本文介紹了目前國內(nèi)外關(guān)于詞語對齊技術(shù)的研究現(xiàn)狀，闡述了幾種具有代表性的詞語對齊方法，分析了它們的理論基礎(chǔ)，算法實(shí)現(xiàn)和各自的特點(diǎn)。
　　雙語語料的詞語對齊在很多自然語言處理領(lǐng)域具有十分重要的作用。本文通過對雙語語料和各種不同類型算法對齊結(jié)果的分析，利用一個(gè)語法上潛在的規(guī)律指導(dǎo)詞對齊的消

3、歧過程。在這種觀點(diǎn)的指導(dǎo)下，吸取了目前主流方法各自潛在的優(yōu)勢，提出一個(gè)多策略詞對齊算法，它融入了基于詞典的方法，基于知網(wǎng)的方法和基于統(tǒng)計(jì)的Giza++方法。
　　實(shí)驗(yàn)表明，該多策略方法取得了很好的測試結(jié)果，在對齊結(jié)果上F值達(dá)到85.15％，較優(yōu)化后的IBM模型提高近10％。同時(shí)，對齊錯(cuò)誤率降低10％，在統(tǒng)計(jì)機(jī)器翻譯的實(shí)例測試中也取得良好的效果。該方法根據(jù)不同算法對齊結(jié)果的可靠性和相容性，實(shí)現(xiàn)了各種算法的優(yōu)勢互補(bǔ)，實(shí)現(xiàn)過程簡單有效，