分布式表示與組合模型在中文自然語(yǔ)言處理中的應(yīng)用.pdf

1、近年來(lái)詞的分布式表示與組合模型在自然語(yǔ)言處理領(lǐng)域中取得了諸多突破性的成果。詞的分布式表示使用實(shí)值向量對(duì)詞進(jìn)行建模，可以從無(wú)標(biāo)記語(yǔ)料庫(kù)學(xué)到詞的語(yǔ)法和語(yǔ)義信息，而組合模型可以對(duì)詞間或詞內(nèi)語(yǔ)義組合進(jìn)行建模。在英文自然語(yǔ)言處理中，這些模型在語(yǔ)言模型、詞性標(biāo)注與文本分類(lèi)等自然語(yǔ)言處理任務(wù)的性能超越了其他模型。受限于語(yǔ)言特性與語(yǔ)料資源，在相關(guān)中文任務(wù)中，這些模型并沒(méi)有在性能上超越其他模型。
　　本文針對(duì)中文分布式表示與組合模型中相關(guān)研究缺乏大

2、規(guī)模無(wú)標(biāo)注語(yǔ)料的情況，構(gòu)建了基于新聞的大規(guī)模無(wú)標(biāo)記語(yǔ)料庫(kù)用于訓(xùn)練詞的表示向量，并在此基礎(chǔ)上結(jié)合中文的字沒(méi)有明確語(yǔ)義的特點(diǎn)，對(duì)詞內(nèi)和詞間的語(yǔ)義組合進(jìn)行建模。具體來(lái)說(shuō)，本文主要進(jìn)行了如下工作:
　　(1)針對(duì)中文沒(méi)有公開(kāi)的大規(guī)模語(yǔ)料供字詞表示學(xué)習(xí)的現(xiàn)狀，本文構(gòu)造了一個(gè)大規(guī)模新聞?wù)Z料庫(kù)。該語(yǔ)料庫(kù)規(guī)模大約是此前中文相關(guān)研究中使用的語(yǔ)料庫(kù)規(guī)模的25～9000倍。使用該語(yǔ)料庫(kù)訓(xùn)練得到的詞的分布式表示，在詞語(yǔ)類(lèi)比推理任務(wù)上超過(guò)了此前相關(guān)研究的最

3、好結(jié)果。
　　(2)針對(duì)詞向量不能很好表示未登錄詞和低頻詞的問(wèn)題，本文結(jié)合中文的語(yǔ)言特性，提出了詞的拆分模型和基于前饋神經(jīng)網(wǎng)絡(luò)的組合語(yǔ)義模型。詞的拆分模型可以根據(jù)語(yǔ)料庫(kù)中的統(tǒng)計(jì)信息對(duì)詞的內(nèi)在結(jié)構(gòu)進(jìn)行拆分，獲得詞的內(nèi)部結(jié)構(gòu);而組合語(yǔ)義模型可以對(duì)詞的內(nèi)部結(jié)構(gòu)間的語(yǔ)義組合進(jìn)行建模。實(shí)驗(yàn)表明組合語(yǔ)義模型可以很好地對(duì)低頻詞和未登錄詞進(jìn)行表示。
　　(3)構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)對(duì)詞間語(yǔ)義組合進(jìn)行建模，并在多個(gè)文本分類(lèi)和情感分析數(shù)據(jù)集上進(jìn)行驗(yàn)證