基于條件隨機(jī)域的中文命名實(shí)體識(shí)別研究.pdf

1、命名實(shí)體識(shí)別（NER）是信息抽取的基礎(chǔ)模塊，在信息檢索、機(jī)器翻譯、數(shù)據(jù)挖掘、自動(dòng)文摘等領(lǐng)域發(fā)揮著重要作用。本文以條件隨機(jī)域模型（Conditional Random Field）為基礎(chǔ)重點(diǎn)研究中文命名實(shí)體中的人名、地名、組織機(jī)構(gòu)識(shí)別。本文的主要工作和特點(diǎn)如下： 1、本文系統(tǒng)詳細(xì)地介紹了條件隨機(jī)域模型，討論了該模型相對(duì)于其它序列標(biāo)注統(tǒng)計(jì)模型的特點(diǎn)。 2、引入了互信息（Mutual Information）從現(xiàn)有的標(biāo)注語(yǔ)料庫(kù)

2、資源中獲取外部統(tǒng)計(jì)詞典，在模型的訓(xùn)練過(guò)程中利用統(tǒng)計(jì)詞典獲得外部特征。實(shí)驗(yàn)表明外部特征的加入可以彌補(bǔ)訓(xùn)練規(guī)模的不足、顯著的提高實(shí)體識(shí)別效果。 3、在組織機(jī)構(gòu)名訓(xùn)練過(guò)程中引入了基于置信度的主動(dòng)學(xué)習(xí)算法，采用了密度加權(quán)的基于池的樣本選擇策略，能夠在耗費(fèi)同樣標(biāo)注成本的情況下在一定程度上提升系統(tǒng)性能，降低特征函數(shù)集的冗余。 4、利用現(xiàn)有的人民日?qǐng)?bào)標(biāo)注語(yǔ)料庫(kù)，以條件隨機(jī)域模型為基礎(chǔ)實(shí)現(xiàn)在字一級(jí)對(duì)于包括外國(guó)譯名在內(nèi)的中文人名、地名的識(shí)