基于最大熵模型的中文姓名識(shí)別研究.pdf

1、漢語(yǔ)自動(dòng)分詞是_中文信息處理的基礎(chǔ)工程，中文姓名的自動(dòng)識(shí)別則是漢語(yǔ)自動(dòng)分詞的難點(diǎn)之一，已經(jīng)成為制約自動(dòng)分詞系統(tǒng)準(zhǔn)確率的一大瓶頸。名實(shí)體識(shí)別在問(wèn)答系統(tǒng)、組塊分詞、信息檢索、信息抽取等諸多信息處理領(lǐng)域中有著重要應(yīng)用。怎樣正確地識(shí)別和分類名實(shí)體是一項(xiàng)關(guān)鍵、困難的工作。 中文姓名識(shí)別由于兩個(gè)原因使其比英文名實(shí)體識(shí)別困難得多：第一，在中文句子中，詞與詞之間沒(méi)有空格，導(dǎo)致分詞的精確度不高；第二，中文姓名沒(méi)有明顯的特征可以區(qū)分開(kāi)(如：英文人名

2、第一個(gè)字母大寫(xiě))。這些都對(duì)正確地識(shí)別中文姓名提出了挑戰(zhàn)。 本文結(jié)合最大熵模型在中文命名實(shí)體識(shí)別的研究，提出了一種突破傳統(tǒng)的規(guī)則與統(tǒng)計(jì)相結(jié)合的識(shí)別方法、專門針對(duì)于中文姓名的一種基于最大熵模型的姓名識(shí)別方法。即利用了最大熵模型在處理復(fù)雜語(yǔ)言模型中的優(yōu)點(diǎn)，又避免里模型在識(shí)別過(guò)程中遇到的各命名實(shí)體結(jié)構(gòu)差別大而導(dǎo)致的特征選擇困難的問(wèn)題。 文章首先分析了中文姓名的結(jié)構(gòu)特征及其在真實(shí)文本中出現(xiàn)的復(fù)雜情況，同時(shí)，結(jié)合中文姓名的特點(diǎn)，綜合

3、考慮上下文信息、詞本身信息、詞典信息、標(biāo)記信息和詞的構(gòu)成信息等對(duì)中文名實(shí)體的影響，給出了適合于中文姓名識(shí)別的特征模板，通過(guò)對(duì)原子特征模板的組合，得到復(fù)合特征模板，并以此生成候選特征空間。進(jìn)而給出特征選擇和特征引入算法，對(duì)候選特征刪選得到有效特征。在特征的選取上，本文還定義了手寫(xiě)特征，手工編寫(xiě)特征可以把一些訓(xùn)練無(wú)法得到的特征引入到模型中，增強(qiáng)了識(shí)別系統(tǒng)利用專家經(jīng)驗(yàn)的能力和系統(tǒng)的擴(kuò)展性。 本文我們采用的自動(dòng)獲取特征模板是一個(gè)簡(jiǎn)單、有

4、效的特征模板，綜合了對(duì)姓名識(shí)別起作用的字信息、詞信息和上下文信息。用一個(gè)特征模板就能包含整個(gè)復(fù)雜語(yǔ)言模型的所有信息。另外，該模板具有擴(kuò)展性強(qiáng)的特點(diǎn)，模板的長(zhǎng)度不是固定值，有利于將一些新發(fā)現(xiàn)的語(yǔ)言模型信息解構(gòu)到模板中。同時(shí)本文在姓名識(shí)別結(jié)果的處理上引入了全局信息，提高姓名識(shí)別系統(tǒng)的性能。試驗(yàn)結(jié)果表明對(duì)準(zhǔn)確率的提高是很有幫助的。 通過(guò)對(duì)真實(shí)語(yǔ)料的封閉與開(kāi)放測(cè)試，該方法取得了90％以上的召回率和滿意的準(zhǔn)確率。實(shí)驗(yàn)表明：基于最大熵模型的