神經(jīng)語言模型在自然語言處理中的應用.pdf

1、目前國內(nèi)外對神經(jīng)網(wǎng)絡(luò)語言模型在自然語言處理中應用的研究越來越廣泛。神經(jīng)網(wǎng)絡(luò)語言模型是將深度學習的思想用于語言模型而構(gòu)建的。本文介紹了五種神經(jīng)網(wǎng)絡(luò)語言模型,分別為Bengio等[2],C&W[1],和Mikolov等[13]提出的神經(jīng)概率語言模型,Minh&hinton[12]提出的可變的層次分布語言模型,以及Sainath[14]提出的深層神經(jīng)網(wǎng)絡(luò)語言模型,并介紹了這幾種模型的優(yōu)缺點。然后,本文分別介紹了深度學習在語義角色標注、組塊、命

2、名實體識別、詞性標注、情感分布、句法分析及連續(xù)短語表示等任務中的應用。
　　本文使用神經(jīng)網(wǎng)絡(luò)語言模型進行漢語框架排歧實驗。框架排歧是在給定一個句子和目標詞的情況下,判斷目標詞所屬的框架的方法。特征選擇是框架排歧的一個重要環(huán)節(jié),不同的特征選擇得到不同的準確率。本文選取詞,詞+詞性,隨機e mbedd ing矩陣,以及與詞相對應的e mbedd ing矩陣作為特征,在山西大學語料上的2077條句子上進行框架排歧實驗,在給定數(shù)據(jù)集下,得

3、到以下結(jié)論。
　　(1)特征從詞,詞+詞性,隨機embedd ing矩陣,以及與詞相對應的e mbedd ing矩陣進行實驗得到的準確率依次增加,分別為47.47％,48.14%,57.72%,58.06%。與詞相對應的embedd ing矩陣準確率相對最高為58.06%。因此e mbedd ing矩陣作為特征進行框架排歧實驗能得到較好的結(jié)果。
　　(2)隨著e mbedd ing矩陣迭代次數(shù)的增加,準確率也增大,當?shù)螖?shù)