基于詞向量與可比語料庫的雙語詞典抽取算法研究.pdf

1、雙語詞典是跨語言信息檢索和機器翻譯等自然語言處理任務(wù)中的一種基礎(chǔ)性資源，所以雙語詞典的抽取一直是研究者們研究的重點。目前，基于可比語料庫的雙語詞典抽取算法性能還不夠理想，而且大部分研究集中在特定領(lǐng)域的術(shù)語抽取。近來神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)等相關(guān)領(lǐng)域取得很好效果，詞向量就是神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域應(yīng)用的代表性的成果之一，并且已經(jīng)廣泛的應(yīng)用于語義擴展和情感分析等自然語言處理的子領(lǐng)域中。
　　詞向量不僅能以向量的形式將詞語數(shù)值化，而且在單語

2、種環(huán)境中可以直接用于兩個詞語之間的相似度計算并自帶平滑功能，這一特點適合基于可比語料庫的雙語詞典抽取場景。本文將詞向量的這一優(yōu)點應(yīng)用到可比語料庫的雙語詞典抽取的工作中，其中主要的工作包括兩部分內(nèi)容:
　　第一，通過詞向量量化詞間關(guān)系，設(shè)計并實現(xiàn)了雙語詞典抽取算法。在單語種條件下詞向量可以很好的量化詞語之間的相關(guān)性，而一個詞語與其他詞語之間的相關(guān)性反映了詞語的部分語義信息。有學(xué)者研究表明這種詞語之間的相關(guān)性是穩(wěn)定的，因此本文將詞語相

3、關(guān)性作為詞語的重要區(qū)分特征分別構(gòu)建了源語言和目標(biāo)語言的詞間關(guān)系矩陣，然后通過種子詞典將源語言的詞間關(guān)系向量和目標(biāo)語言的詞間關(guān)系向量映射到相同的向量空間中，最后通過詞間關(guān)系向量的相似度計算完成雙語詞典抽取的工作。實驗表明，與基于向量空間模型的經(jīng)典方法相比基于詞向量和詞間關(guān)系的詞典抽取方法在準確率方面有顯著的提升，特別是對于高頻詞語其準確率提升最為顯著。
　　第二，在詞向量詞間關(guān)系模型的基礎(chǔ)上，提出融合詞語共現(xiàn)度的雙語詞典抽取方法，以