漢英雙語平行語料庫中對齊方法的研究.pdf

1、在自然語言處理領(lǐng)域,雙語平行語料庫的重要性日益加強,其研究工作主要是集中在構(gòu)建、對齊和標(biāo)注等方面.它在在機器翻譯、詞典編纂、多語言信息檢索、術(shù)語提取等領(lǐng)域有著重要的研究價值.在過去的三十年里,各國的研究人員相繼建立了許多印歐語言的平行語料庫.與之相比,漢英雙語平行語料庫的研究國內(nèi)外都相對較少,近年來才剛剛起步.該文的工作主要集中在漢英雙語平行語料庫詞語對齊及詞義排歧的研究上,主要包括以下部分:1.實詞對應(yīng).在詳細(xì)考察各類統(tǒng)計參數(shù)的基礎(chǔ)上

2、,對高頻實詞提出了適合于漢英兩個不同體系語言的一種混合的統(tǒng)計方法,而對低頻實詞則充分利用詞典獲取對應(yīng)信息,最后采用一種綜合的基于競爭鏈接的對應(yīng)算法,取得了較好的效果.2.雙語語塊的識別和對應(yīng).該文充分利用已有的實詞對應(yīng)信息,將語塊的劃分和對應(yīng)同時進(jìn)行,這樣使得對應(yīng)和劃分能相互提供信息,有效地避免了當(dāng)前絕大多數(shù)算法中存在的雙語語塊邊界劃分不一致的情況.3.名詞短語的對應(yīng).該文根據(jù)名詞短語的統(tǒng)計特征,對高頻名詞短語采用迭代重估算法;對低頻短

3、語,則采用類似于低頻實詞的對應(yīng)方法.這樣就能夠從整體上把握對應(yīng)信息,并使結(jié)果具有很高的覆蓋率.4.雙語詞義排歧.當(dāng)前大多數(shù)基于雙語語料的詞義排歧算法都局限在利用單個多義詞的上下文環(huán)境及其對應(yīng)信息,該文則充分利用當(dāng)前Hownet資源中概念的可計算性,將詞義排歧的問題轉(zhuǎn)化為多義詞和另一種語言的相應(yīng)句子的整體意義相似性問題,從一個新的角度來進(jìn)行詞義排歧,因此得出了滿意的研究結(jié)果.該文利用漢英兩種語言各自的特點,充分利用已有信息,實現(xiàn)了對平行語