中文詞匯語(yǔ)義相似度計(jì)算研究.pdf

1、詞匯語(yǔ)義相似度是對(duì)兩個(gè)詞語(yǔ)對(duì)象所蘊(yùn)含意義的相近程度的度量。詞匯語(yǔ)義相似度計(jì)算是一項(xiàng)基礎(chǔ)而核心的工作，可以將“詞匯相似”這個(gè)抽象關(guān)系通過(guò)特定的計(jì)算方法映射成計(jì)算機(jī)可以處理的數(shù)值，從而將自然語(yǔ)言處理問(wèn)題轉(zhuǎn)化為機(jī)器學(xué)習(xí)問(wèn)題，其性能的好壞將直接影響到自然語(yǔ)言處理與信息檢索的各項(xiàng)任務(wù)。近年來(lái)，基于詞向量的詞匯語(yǔ)義相似度計(jì)算方法及其改進(jìn)方法已成為該領(lǐng)域內(nèi)的前沿、熱點(diǎn)研究課題。
　　本文研究中文詞匯語(yǔ)義相似度計(jì)算，重點(diǎn)研究如何改進(jìn)基于詞向量的方

2、法，并根據(jù)是否融入語(yǔ)義約束分為兩部分研究：
　?。?）無(wú)語(yǔ)義約束的詞向量模型
　　本文分別使用機(jī)器翻譯和LSTMs網(wǎng)絡(luò)改進(jìn)標(biāo)準(zhǔn)Skip-gram模型：首先，分別利用標(biāo)準(zhǔn)Skip-gram模型根據(jù)不同的訓(xùn)練語(yǔ)料得到標(biāo)準(zhǔn)詞向量，通過(guò)實(shí)驗(yàn)分析了語(yǔ)料規(guī)模和語(yǔ)料質(zhì)量對(duì)詞向量模型的影響。其次，嘗試用機(jī)器翻譯構(gòu)建中、英文詞向量的關(guān)系，并用公開(kāi)大規(guī)模英文詞向量選擇性地替換中文向量，改進(jìn)原有中文詞向量計(jì)算性能。最后，將詞匯相似度計(jì)算問(wèn)題轉(zhuǎn)化為

3、詞匯關(guān)系預(yù)測(cè)問(wèn)題，并通過(guò) LSTMs網(wǎng)絡(luò)學(xué)習(xí)詞對(duì)共現(xiàn)的句子序列，從而建模詞匯關(guān)系。
　?。?）融入語(yǔ)義約束的詞向量模型
　　本文提出了一種改進(jìn) Counter-fitting模型將語(yǔ)義約束融入已有詞向量模型：首先，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)擴(kuò)展詞匯上下文。分別抓取詞匯出現(xiàn)以及詞對(duì)共現(xiàn)的句群作為詞對(duì)“上下文”，并抓取同義詞對(duì)、反義詞對(duì)擴(kuò)充現(xiàn)有人工語(yǔ)義詞典。其次，計(jì)算詞匯語(yǔ)義相似度。分別利用語(yǔ)義詞典、檢索結(jié)果、預(yù)訓(xùn)練好的詞向量計(jì)算語(yǔ)義相似

4、度。最后，利用改進(jìn) Counter-fitting方法優(yōu)化預(yù)訓(xùn)練好的詞向量，具體的做法是，通過(guò)語(yǔ)義約束、向量空間存留構(gòu)造多項(xiàng)式目標(biāo)函數(shù)，然后用梯度下降算法對(duì)目標(biāo)函數(shù)求解，其中，語(yǔ)義約束不僅包括同義約束、反義約束，還包含了相似約束。
　　實(shí)驗(yàn)結(jié)果表明，基于語(yǔ)義詞典的方法在登錄詞覆蓋率較高的情況下，有著先天優(yōu)勢(shì)，而當(dāng)出現(xiàn)大量未登錄詞時(shí)，基于詞向量方法和基于 Web檢索的方法更具有實(shí)用性，此外，融入語(yǔ)義約束的詞向量模型的實(shí)驗(yàn)結(jié)果達(dá)到目前