基于特征向量的名詞短語(yǔ)指代消解研究.pdf

1、指代消解是自然語(yǔ)言處理中的一個(gè)重要問(wèn)題，包括專有名詞、普通名詞、代詞的指代識(shí)別。為了解決文本中的指代問(wèn)題，本文采用了基于特征向量的機(jī)器學(xué)習(xí)方法，將指代問(wèn)題轉(zhuǎn)換成一個(gè)分類問(wèn)題，實(shí)現(xiàn)了一個(gè)基于機(jī)器學(xué)習(xí)的針對(duì)所有名詞短語(yǔ)的指代消解平臺(tái)。 本文通過(guò)對(duì)英文原始語(yǔ)料進(jìn)行詞性標(biāo)注、命名實(shí)體識(shí)別和名詞短語(yǔ)識(shí)別等一系列預(yù)處理，選取了多個(gè)有效特征及其組合，分別采用最大熵和SVM兩種分類算法對(duì)名詞短語(yǔ)進(jìn)行分類，并用MUC Scorer的評(píng)測(cè)程序進(jìn)行評(píng)

2、測(cè)，在MUC-6語(yǔ)料庫(kù)上分別得到了F值68．0和68．1的結(jié)果。為了驗(yàn)證系統(tǒng)是否具有可移植性，本文又選用了ACE2003語(yǔ)料庫(kù)，系統(tǒng)在采用SVM分類器的情況下，在BNEWS，NPAPER和NWIRE三個(gè)類別的數(shù)據(jù)源上，F(xiàn)值分別達(dá)到了53．1，58．4和54．2。從實(shí)驗(yàn)結(jié)果上看，本文所介紹的英文指代消解系統(tǒng)優(yōu)于同類型的其它平臺(tái)。 在英文指代消解的基礎(chǔ)上，本文實(shí)現(xiàn)了中文指代消解的系統(tǒng)框架，對(duì)基于機(jī)器學(xué)習(xí)的中文指代消解進(jìn)行了嘗試。系統(tǒng)

3、采用ACE2005中文語(yǔ)料作為實(shí)驗(yàn)數(shù)據(jù)，從標(biāo)注文本中抽取了部分主要特征，并通過(guò)一些簡(jiǎn)單規(guī)則識(shí)別了另外一些特征，隨機(jī)抽取BNEWS語(yǔ)料中200篇文章作為訓(xùn)練集，98篇文章作為測(cè)試集，F(xiàn)值達(dá)到了70．83。 特別是，本文系統(tǒng)深入地研究了特征向量及其取值方式對(duì)基于機(jī)器學(xué)習(xí)的指代消解的影響；不同機(jī)器學(xué)習(xí)方法對(duì)指代消解的影響；系統(tǒng)對(duì)不同語(yǔ)料的消解能力；中英文指代消解的相同和不同之處。通過(guò)對(duì)比實(shí)驗(yàn)結(jié)果，檢查實(shí)驗(yàn)錯(cuò)誤，分析了中英文指代消解系統(tǒng)