跨語言詞匯語義相似度計算研究.pdf

1、跨語言詞匯語義相似度反映的是來自不同語言的詞語之間的語義相似程度，它是跨語言信息獲取系統(tǒng)的一個基本組成部分。隨著近年來網(wǎng)絡(luò)上多語言資源的增多，跨語言詞匯語義相似度計算的研究逐漸得到了重視。本文致力于中英文詞匯語義相似度的研究，證明了HowNet可以用于跨語言詞匯語義相似度計算，并且平行語料庫中的共現(xiàn)信息對跨語言詞匯語義相似度計算的性能有較好的提升作用。
　　 本文的跨語言詞匯語義相似度計算方法以HowNet作為跨語言知識庫，基于

2、HowNet的跨語言詞匯語義相似度計算方法與單語詞匯語義相似度計算方法類似，以HowNet中的概念定義和義原的樹形層次結(jié)構(gòu)作為計算基礎(chǔ)，通過把中英文詞語轉(zhuǎn)化為義原形式，之后計算義原以及詞語之間的語義相似度。評測結(jié)果表明HowNet可用于跨語言詞匯語義相似度計算，但是HowNet中的一些詞語的定義不夠準(zhǔn)確，對算法的性能產(chǎn)生了不良影響。
　　 為進(jìn)一步提高跨語言詞匯語義相似度計算的準(zhǔn)確性，本文引入平行語料庫作為補(bǔ)充數(shù)據(jù)源，首先抽取詞

3、語在語料庫中的上下文詞語，之后根據(jù)詞語的PMI信息對上下文詞語進(jìn)行排序，并采用多種算法計算上下文詞語之間的語義相似度，在把基于HowNet的方法與基于平行語料庫的方法進(jìn)行融合之后，跨語言詞匯語義相似度計算的準(zhǔn)確率得到了較大的提升。實驗結(jié)果表明通過增加平行語料庫的規(guī)模，跨語言詞匯語義相似度計算的性能還會進(jìn)一步提高。
　　 跨語言詞匯語義相似度計算的評測采用與人工判斷結(jié)果進(jìn)行比較的方法，但是目前還沒有可用的標(biāo)準(zhǔn)評測集。通過對英文詞匯