一種基于BTM主題模型的命名實體鏈接方法研究.pdf

1、隨著網(wǎng)絡(luò)資源的不斷膨脹，信息的不斷增多使得人們獲取有價值的信息變得越來越困難。而Tweets、微博等短文本的發(fā)展和流行，使得人們更加無法從中獲取更多感興趣的內(nèi)容，拓展命名實體條目的歧義問題成為研究的重點難點，命名實體鏈接技術(shù)是解決該問題的重要方法。命名實體鏈接是把文檔中給定的命名實體鏈接到知識庫中一個無歧義實體的過程，包括同義實體的合并、歧義實體的消歧等。該技術(shù)可以提升在線推薦系統(tǒng)、互聯(lián)網(wǎng)搜索引擎等實際應(yīng)用的信息過濾能力。本文針對短文本

2、內(nèi)容簡短、語言隨意不規(guī)范等特性，提出了一種基于BTM主題模型的命名實體鏈接方法。
　　本文首先使用離線版維基百科來構(gòu)建命名實體知識庫，構(gòu)建同義詞表和歧義詞表。本文使用基于規(guī)則和統(tǒng)計相結(jié)合的方法，識別短文本中的命名實體。由于短文本中出現(xiàn)的命名實體的多樣性，根據(jù)知識庫中的同義詞表進(jìn)行標(biāo)準(zhǔn)化，根據(jù)歧義詞表獲取候選命名實體集合并根據(jù)命名實體上下文特性進(jìn)行剪枝，縮減候選實體集的大小，提高候選實體排序的效率。本文綜合考慮詞共同出現(xiàn)頻率與單個出

3、現(xiàn)頻率的情況，改進(jìn)了MPM詞共現(xiàn)度量只考慮共現(xiàn)頻率而不考慮單個詞出現(xiàn)頻率情況，來計算詞共現(xiàn)程度系數(shù)。其次，本文基于同一文檔下詞與命名實體具有相似的主題分布的假設(shè)，在語義層面對文檔進(jìn)行建模和實體消歧，提出了一種基于BTM主題模型的命名實體鏈接方法。該方法使用基于詞共現(xiàn)程度系數(shù)的BTM模型來對命名實體語義建模，并使用了吉普斯采樣的方法求解參數(shù)，這使得模型更加簡單準(zhǔn)確，為后續(xù)處理數(shù)據(jù)提供了理論基礎(chǔ)。最后本文根據(jù)命名實體所在主題空間的位置向量與