基于字詞對齊的中文字詞向量表示方法.pdf

1、詞語是構(gòu)成文本的最小語義單元，很多自然語言處理任務(wù)都會涉及詞語表示的問題。詞語表示的方法最常見的是獨(dú)熱表示.然而此方法存在稀疏問題，且不能捕捉詞語間的語義聯(lián)系。以表示學(xué)習(xí)為基礎(chǔ)的詞語表示旨在用稠密的低維向量來表示詞語的語義信息，其中分布式語義表示是表示學(xué)習(xí)中最常見的詞語表示方法。這種方法得到的詞向量在很多自然語言處理問題上取得了成功。借鑒于英文的詞向量表示方法，一些學(xué)者對中文詞向量的表示進(jìn)行了研究。最近的一些研究表明，中文詞語內(nèi)部的漢字

2、也具有豐富的語義信息，基于字詞聯(lián)合學(xué)習(xí)的模型在一些中文自然語言處理任務(wù)上取得了一定的成功。然而現(xiàn)有的處理方法均沒有考慮詞語內(nèi)部漢字對詞語語義貢獻(xiàn)的差異性，使得學(xué)習(xí)的詞向量在一些任務(wù)上的表現(xiàn)不盡如人意。本文基于此問題，提出了一種計算組成詞語的漢字對詞語的語義貢獻(xiàn)的方法，這種方法利用了其他語言的語義信息。我們使用了這種基于相似度的方法來聯(lián)合學(xué)習(xí)字詞向量。并且通過實(shí)驗(yàn)，這種方法對漢字消歧和識別非語義可組合詞也有很好的效果。
　　本文具體

3、工作如下:
　　(1)本文根據(jù)中文的特點(diǎn)，提出了一種基于字詞相似度的字詞向量學(xué)習(xí)模型。該方法在詞語訓(xùn)練過程中，計算了不同內(nèi)部漢字對詞語的語義貢獻(xiàn)，更好地對中文的詞語進(jìn)行建模，使?jié)h字對學(xué)習(xí)到的詞向量起到很好的平滑效果，并且通過字的關(guān)聯(lián)使詞的上下文信息更加豐富。
　　(2)與傳統(tǒng)的基于上下文聚類的漢字消歧方法不同，本文創(chuàng)新地融入了英文這種富信息語言的優(yōu)勢，提出了一種新的方法來對漢字進(jìn)行消歧。這種方法利用了外部資源，使用了類似K-