基于DBpedia Spotlight的高效命名實體識別方法研究.pdf

1、近些年，隨著關(guān)聯(lián)數(shù)據(jù)的發(fā)展，大量不同領(lǐng)域的知識庫以RDF的形式發(fā)布出來，規(guī)模愈來愈大，內(nèi)容愈來愈豐富。命名實體識別作為信息提取領(lǐng)域的子任務(wù)，能夠構(gòu)建知識庫與自然語言文本之間的橋梁，利用知識庫中的語義為關(guān)鍵字提取，機(jī)器翻譯，主題檢測與跟蹤等任務(wù)提供支撐。因此，如何有效地提高命名實體識別的性能成為許多研究工作的焦點。
　　本文基于開源命名實體識別系統(tǒng)DBpedia Spotlight提出了一套命名實體識別優(yōu)化方案。該方案包括三個部分，

2、首先針對系統(tǒng)使用的一元語言模型設(shè)計并實現(xiàn)編輯擴(kuò)展的框架，增強了系統(tǒng)的靈活性，同時基于該框架提出了使用訓(xùn)練集和候選集對模型進(jìn)行擴(kuò)展的方法，通過人工生成候選集驗證了方法的有效性；其次，通過考慮上下文單詞與實體的相關(guān)性，提出了點互信息率的概念，并使用其作為閾值對系統(tǒng)的上下文模型進(jìn)行特征選擇，舍棄掉上下文中與實體相關(guān)度較低的單詞，在大幅度降低模型空間的同時提高了系統(tǒng)標(biāo)注的準(zhǔn)確率和召回率；最后，考慮到文本內(nèi)部通常會有一個中心主題，本文使用維基百科

3、文章之間的鏈接為實體和文本構(gòu)建主題向量，通過計算候選集中實體與文本主題之間的相似度，對系統(tǒng)的標(biāo)注結(jié)果進(jìn)行二次消歧，進(jìn)一步地提高了系統(tǒng)標(biāo)注的準(zhǔn)確率。
　　另外，中文作為世界上使用人口最多的語言，設(shè)計和實現(xiàn)一個中文命名實體識別系統(tǒng)是非常必要的。本文以DBpedia Spotlight為基礎(chǔ)，分析并克服中文語言為命名實體識別任務(wù)帶來的挑戰(zhàn)，使用中文維基百科數(shù)據(jù)構(gòu)建一元語言模型，設(shè)計并實現(xiàn)了中文命名實體識別系統(tǒng)，為用戶提供REST服務(wù)訪問