基于最大熵模型的中文命名實(shí)體識(shí)別方法研究.pdf

1、命名實(shí)體識(shí)別是信息抽取的子任務(wù)，同時(shí)也是機(jī)器翻譯、自動(dòng)問(wèn)答等多種自然語(yǔ)言處理技術(shù)的基礎(chǔ)。由于受中文自身特點(diǎn)的限制，中文命名實(shí)體識(shí)別一直相當(dāng)困難。為了促進(jìn)其它中文自然語(yǔ)言處理技術(shù)和應(yīng)用的發(fā)展，研究中文命名實(shí)體的識(shí)別技術(shù)是很有意義，也是非常重要的。 本文利用最大熵模型(Maximum Entropy，ME )進(jìn)行中文命名實(shí)體識(shí)別。嘗試了在不同特征模板集下，命名實(shí)體識(shí)別的性能，深入研究了最大熵模型在中文命名實(shí)體識(shí)別中的特點(diǎn)，發(fā)現(xiàn)最大

2、熵模型不能自動(dòng)組合特征，模型性能很大程度上依賴于特征模板。因此，設(shè)計(jì)合理的特征模板是基于最大熵模型中文命名實(shí)體識(shí)別的關(guān)鍵。 漢語(yǔ)中存在大量的隱含語(yǔ)義特征，可以幫助命名實(shí)體的識(shí)別，而最大熵模型的一個(gè)重要優(yōu)點(diǎn)就是能融合不同粒度和不同層次的特征。針對(duì)這一特點(diǎn)，本文通過(guò)從語(yǔ)料庫(kù)中抽取信息的方式，建立了大量的中文命名實(shí)體語(yǔ)義知識(shí)庫(kù)。但是，由于語(yǔ)料庫(kù)的規(guī)模有限，并且基于統(tǒng)計(jì)的方法普遍存在數(shù)據(jù)稀疏的問(wèn)題，導(dǎo)致很多重要的知識(shí)不能被挖掘出來(lái)。為了