中文短文本實(shí)體識(shí)別和鏈接研究.pdf

1、隨著社會(huì)的信息化進(jìn)程，人們對(duì)自然語言語義理解系統(tǒng)的需求越來越迫切。目前基于命名實(shí)體的研究成為了語義研究的熱點(diǎn)。本文研究了中文短文本的命名實(shí)體識(shí)別(NER)和實(shí)體鏈接(EL)，考慮這兩個(gè)任務(wù)的相關(guān)性，采用了聯(lián)合處理這兩個(gè)任務(wù)的方式。
　　實(shí)體識(shí)別和鏈接是文本分析的基本任務(wù)，是許多自然語言任務(wù)的基礎(chǔ)支撐模塊?，F(xiàn)有方法大多使用pipeline模式執(zhí)行這兩個(gè)任務(wù)。通常先使用一個(gè)NER系統(tǒng)尋找命名實(shí)體的邊界，然后使用一個(gè)EL系統(tǒng)關(guān)聯(lián)命名實(shí)體

2、到具體的知識(shí)庫條目。在這樣的模式下NER系統(tǒng)的錯(cuò)誤往往會(huì)傳遞到EL系統(tǒng)中，且EL系統(tǒng)缺乏足夠的信息糾正錯(cuò)誤。這種模式在長(zhǎng)文本上可能合適，因?yàn)楝F(xiàn)有的實(shí)體識(shí)別系統(tǒng)在足夠的訓(xùn)練語料和足夠理想的上下文情況下表現(xiàn)良好。但當(dāng)我們處理短文本的時(shí)候，這種模式下的NER系統(tǒng)對(duì)最終實(shí)體識(shí)別和鏈接的結(jié)果產(chǎn)生了不利影響。
　　為了解決此類在短文本實(shí)體識(shí)別和鏈接任務(wù)上的錯(cuò)誤傳播問題，我們基于兩個(gè)任務(wù)之間的耦合關(guān)系及潛在可能的互促進(jìn)效應(yīng)，提出了2個(gè)聯(lián)合處理N

3、ER和EL任務(wù)的模型，分別是線性模型和基于半條件隨機(jī)場(chǎng)的模型。研究者們一般視NER為一個(gè)序列標(biāo)注問題，EL任務(wù)為實(shí)體排序問題。我們的線性模型視NER和EL任務(wù)為排序問題。它生成盡可能多的候選“實(shí)體指稱和實(shí)體對(duì)”，并對(duì)其進(jìn)行排序，選擇最合適的“實(shí)體指稱和實(shí)體對(duì)”。我們基于半條件隨機(jī)場(chǎng)的聯(lián)合模型處理的是序列標(biāo)注問題，在標(biāo)注其“實(shí)體指稱”時(shí)，盡可能多的使用實(shí)體相關(guān)的特征。在聯(lián)合處理實(shí)體識(shí)別和鏈接的情況下，我們可用的特征較分別處理識(shí)別和鏈接更加