英文實(shí)體識別任務(wù)的研究.pdf

1、實(shí)體提取是機(jī)器翻譯，自動問答，指代消解等自然語言處理任務(wù)的基礎(chǔ)。英文實(shí)體提取已經(jīng)有了10多年的研究歷史。但是實(shí)體提取的目標(biāo)大多一直局限在人名，地名，機(jī)構(gòu)名三類實(shí)體上。增加實(shí)體的類別，提高實(shí)體識別的精度，具有重要的研究意義。
　　本文首先用實(shí)體鏈接的辦法，證明維基百科不能覆蓋現(xiàn)實(shí)世界中的所有實(shí)體，滿足不了人們搜索和了解知識的需求，表明實(shí)體提取任務(wù)研究的必要性。進(jìn)而對比了多種實(shí)體提取模型之間性能的差異。包括隱馬爾可夫模型，最大熵模型，

2、條件隨機(jī)場模型，名詞短語識別模型，斯坦福大學(xué)命名實(shí)體識別，去標(biāo)簽實(shí)體識別模型等。通過對數(shù)據(jù)的實(shí)證分析，證明本文提出的融合多種特征，依托條件隨機(jī)場訓(xùn)練的去標(biāo)簽?zāi)Ｐ偷膶?shí)體提取性能最好。另外，為了避免訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)結(jié)構(gòu)高度相似對實(shí)驗(yàn)結(jié)果的影響，本文還選取了2014年五天的新聞數(shù)據(jù)，以及微軟內(nèi)部的短文本數(shù)據(jù)進(jìn)行測試。本文數(shù)據(jù)量為百萬詞次級別，且數(shù)據(jù)形式豐富，實(shí)驗(yàn)結(jié)論真實(shí)可靠。
　　本文為英文實(shí)體提取提供了新的嘗試，且已取得一些初步成果