基于圖方法的命名實(shí)體消歧研究.pdf

1、隨著web2.0的普及，越來(lái)越多的普通互聯(lián)網(wǎng)用戶作為互聯(lián)網(wǎng)文本的創(chuàng)建者參與進(jìn)來(lái)。隨著互聯(lián)網(wǎng)的迅速膨脹，產(chǎn)生了豐富的文本數(shù)據(jù)。通過(guò)自然語(yǔ)言處理技術(shù)對(duì)互聯(lián)網(wǎng)中的文本進(jìn)行分析可以發(fā)現(xiàn)有價(jià)值的信息。然而互聯(lián)網(wǎng)文本數(shù)據(jù)產(chǎn)生自普通的互聯(lián)網(wǎng)用戶，質(zhì)量良莠不齊。由于自然語(yǔ)言的多樣性和歧義性，不同的用戶對(duì)同一實(shí)體往往具有多種表達(dá)，相同的實(shí)體字符串在不同的上下文中可能表示不同的實(shí)體。為了使計(jì)算機(jī)能夠正確地對(duì)自然語(yǔ)言文本進(jìn)行分析，對(duì)文本中的名實(shí)體進(jìn)行消歧顯得

2、尤為重要。本文采用基于圖方法的名實(shí)體消歧來(lái)解決這一問(wèn)題，本文的研究?jī)?nèi)容如下：
　　首先是對(duì)知識(shí)庫(kù)的預(yù)處理，本文采用的圖方法需要利用知識(shí)庫(kù)中的實(shí)體關(guān)系對(duì)候選實(shí)體進(jìn)行拓展，知識(shí)庫(kù)中實(shí)體三元組的質(zhì)量將直接影響到最終的消歧效果。預(yù)處理階段十分重要。預(yù)處理分為從三元組表示形式和數(shù)據(jù)集篩選兩個(gè)角度進(jìn)行考慮。在三元組表示形式方面，主要對(duì)三元組的實(shí)體表示進(jìn)行縮減，并對(duì)異常編碼的處理。在數(shù)據(jù)集角度上，針對(duì)不同的數(shù)據(jù)集的特點(diǎn)進(jìn)行分析，對(duì)數(shù)據(jù)集中三元組

3、進(jìn)行過(guò)濾。通過(guò)預(yù)處理，從而去除對(duì)消歧無(wú)用的信息，減少噪聲數(shù)據(jù)，為后續(xù)的消歧任務(wù)做準(zhǔn)備。
　　實(shí)體消歧的主要步驟是生成候選實(shí)體和名實(shí)體消歧。首先我們要對(duì)文本中的實(shí)體指稱生成候選。我們從基于字符串相似度的方法和基于知識(shí)庫(kù)的方法兩個(gè)角度對(duì)實(shí)體指稱生成候選，字符串相似度方法主要從候選實(shí)體的拓充和篩選兩個(gè)方面進(jìn)行介紹，基于知識(shí)庫(kù)的方法主要有基于規(guī)則的方法和基于先驗(yàn)概率的方法。通過(guò)對(duì)不同候選生成方法的效果進(jìn)行對(duì)比。最終對(duì)幾種方法進(jìn)行組合，產(chǎn)生

4、了不錯(cuò)的效果。本文采用的方法在保證了目標(biāo)實(shí)體的召回率的同時(shí)，有效地減少了候選實(shí)體的數(shù)目，可以減少消歧階段的計(jì)算復(fù)雜度和噪聲實(shí)體。
　　候選實(shí)體生成之后接下來(lái)要做的就是名實(shí)體消歧。首先利用知識(shí)庫(kù)中的實(shí)體關(guān)系對(duì)候選實(shí)體進(jìn)行拓展，使候選實(shí)體之間形成互相連通的實(shí)體網(wǎng)絡(luò)圖。在此網(wǎng)絡(luò)圖上采用鏈接分析算法，為候選實(shí)體評(píng)分從而實(shí)現(xiàn)消歧。對(duì)實(shí)體拓展的策略涉及拓展采用的實(shí)體關(guān)系，拓展的實(shí)體路徑長(zhǎng)度、上下文粒度的選擇以及對(duì)實(shí)體指稱進(jìn)行消歧是采用同時(shí)決策