基于圖方法的命名實體消歧研究.pdf

1、隨著web2.0的普及，越來越多的普通互聯(lián)網用戶作為互聯(lián)網文本的創(chuàng)建者參與進來。隨著互聯(lián)網的迅速膨脹，產生了豐富的文本數(shù)據(jù)。通過自然語言處理技術對互聯(lián)網中的文本進行分析可以發(fā)現(xiàn)有價值的信息。然而互聯(lián)網文本數(shù)據(jù)產生自普通的互聯(lián)網用戶，質量良莠不齊。由于自然語言的多樣性和歧義性，不同的用戶對同一實體往往具有多種表達，相同的實體字符串在不同的上下文中可能表示不同的實體。為了使計算機能夠正確地對自然語言文本進行分析，對文本中的名實體進行消歧顯得

2、尤為重要。本文采用基于圖方法的名實體消歧來解決這一問題，本文的研究內容如下：
　　首先是對知識庫的預處理，本文采用的圖方法需要利用知識庫中的實體關系對候選實體進行拓展，知識庫中實體三元組的質量將直接影響到最終的消歧效果。預處理階段十分重要。預處理分為從三元組表示形式和數(shù)據(jù)集篩選兩個角度進行考慮。在三元組表示形式方面，主要對三元組的實體表示進行縮減，并對異常編碼的處理。在數(shù)據(jù)集角度上，針對不同的數(shù)據(jù)集的特點進行分析，對數(shù)據(jù)集中三元組

3、進行過濾。通過預處理，從而去除對消歧無用的信息，減少噪聲數(shù)據(jù)，為后續(xù)的消歧任務做準備。
　　實體消歧的主要步驟是生成候選實體和名實體消歧。首先我們要對文本中的實體指稱生成候選。我們從基于字符串相似度的方法和基于知識庫的方法兩個角度對實體指稱生成候選，字符串相似度方法主要從候選實體的拓充和篩選兩個方面進行介紹，基于知識庫的方法主要有基于規(guī)則的方法和基于先驗概率的方法。通過對不同候選生成方法的效果進行對比。最終對幾種方法進行組合，產生

4、了不錯的效果。本文采用的方法在保證了目標實體的召回率的同時，有效地減少了候選實體的數(shù)目，可以減少消歧階段的計算復雜度和噪聲實體。
　　候選實體生成之后接下來要做的就是名實體消歧。首先利用知識庫中的實體關系對候選實體進行拓展，使候選實體之間形成互相連通的實體網絡圖。在此網絡圖上采用鏈接分析算法，為候選實體評分從而實現(xiàn)消歧。對實體拓展的策略涉及拓展采用的實體關系，拓展的實體路徑長度、上下文粒度的選擇以及對實體指稱進行消歧是采用同時決策