基于詞向量和LSTM的漢語(yǔ)零指代消解研究.pdf

1、漢語(yǔ)零指代消解任務(wù)是自然語(yǔ)言處理領(lǐng)域一個(gè)重要的研究分支和研究熱點(diǎn)，對(duì)于幫助計(jì)算機(jī)理解自然語(yǔ)言文本有著重要的作用。漢語(yǔ)零指代消解是找到漢語(yǔ)句子中的零指代位置所指向的先行詞。傳統(tǒng)的漢語(yǔ)零指代消解方法利用句子的完全句法樹，通過(guò)利用詞法、句法信息等來(lái)進(jìn)行零指代消解，很少?gòu)恼Z(yǔ)義層面進(jìn)行研究。
　　隨著深度學(xué)習(xí)技術(shù)的發(fā)展，詞向量作為一種語(yǔ)義的載體被廣泛地研究和應(yīng)用，同時(shí)像循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural network，RNN）

2、、長(zhǎng)短期記憶模型（Long short-term memory,LSTM）等模型和技術(shù)也廣泛地應(yīng)用在自然言處理各項(xiàng)任務(wù)上，并取得了很好的效果。
　　本課題提出了使用詞向量和LSTM模型用于漢語(yǔ)零指代消解任務(wù)，分別提出了基于詞向量的漢語(yǔ)零指代消解框架和基于LSTM的漢語(yǔ)零指代消解模型。利用詞向量這種語(yǔ)義載體，從語(yǔ)義層面對(duì)漢語(yǔ)零指代消解任務(wù)進(jìn)行建模和實(shí)驗(yàn)，取得了良好的效果，證明了利用詞向量和深度神經(jīng)網(wǎng)絡(luò)模型在漢語(yǔ)零指代消解任務(wù)上的有效

3、性，提供了一種漢語(yǔ)零指代消解的新思路。
　　我們構(gòu)建了基于詞向量的線性分類框架進(jìn)行漢語(yǔ)零指代消解任務(wù)，具體的包括關(guān)鍵詞的提取策略，定義樣本格式、訓(xùn)練詞向量和構(gòu)建線性二元分類模型等；同時(shí)為了對(duì)詞向量信息和上下文信息更加有效的利用和建模，我們提出了基于雙向LSTM的模型，包括構(gòu)造適合漢語(yǔ)零指代消解任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)embedding的特殊處理以及各種優(yōu)化方法等。實(shí)驗(yàn)證明本課題提出的這些方法能夠有效的利用語(yǔ)義信息，在語(yǔ)義層面解決漢語(yǔ)零指