基于動(dòng)態(tài)貝葉斯網(wǎng)的中文專有名詞識(shí)別.pdf

1、專有名詞的識(shí)別是中文信息處理領(lǐng)域的重要研究課題之一，目前尚未得到很好的解決。在大規(guī)模真實(shí)文本為基礎(chǔ)的語料庫研究的重要性日益突顯的情況下，如何提高大規(guī)模語料庫的質(zhì)量成為關(guān)鍵，而專有名詞的識(shí)別質(zhì)量是影響語料庫加工質(zhì)量的一個(gè)重要因素，專有名詞識(shí)別的自動(dòng)化也能提高大規(guī)模語料庫加工效率。此外，在信息抽取、問答系統(tǒng)、術(shù)語學(xué)研究等各個(gè)研究領(lǐng)域應(yīng)用領(lǐng)域，專有名詞的識(shí)別也是其基礎(chǔ)性步驟。 本文針對(duì)真實(shí)中文文本中較為頻繁出現(xiàn)的人名、地理政治地名還有

2、組織機(jī)構(gòu)名三類專有名詞，提出了一種基于動(dòng)態(tài)貝葉斯網(wǎng)模型的專有名詞自動(dòng)識(shí)別方法，該方法把文本中的局部特征、全局特征及語言學(xué)經(jīng)驗(yàn)知識(shí)融入一個(gè)極具表達(dá)和推導(dǎo)能力的隨機(jī)概率模型中，可以很好地識(shí)別專有名詞。研究內(nèi)容主要包括以下幾個(gè)方面： 1.對(duì)專有名詞的分類做了較好的研究，分析它們?cè)趩尉渲械木植刻卣鳎诖嘶A(chǔ)上，建立了專有名詞的局部特征變量之間的相互依賴關(guān)系。 2.研究了專有名詞在真實(shí)中文文本的互指等語篇信息，利用有效的互指消解規(guī)

3、則，解決了專有名詞名義性互指等問題，把全局信息融入系統(tǒng)，保證了有效地識(shí)別專有名詞。 3.采用了基準(zhǔn)模型與動(dòng)態(tài)貝葉斯網(wǎng)模型相結(jié)合的方法，取長補(bǔ)短，充分利用了兩種模型的各自優(yōu)點(diǎn)，既保證了識(shí)別系統(tǒng)的效率，也保證了識(shí)別結(jié)果的準(zhǔn)確率。 4.為了提高專有名詞識(shí)別效果，我們考慮了自然語言文本中的局部信息，此外更主要的是考察其語篇信息，并且針對(duì)中文文本中人名、組織機(jī)構(gòu)名及地理政治名的識(shí)別，構(gòu)建專有名詞識(shí)別動(dòng)態(tài)貝葉斯模型(DBNS)。我們

4、把“是否某類專有名詞”作為分詞后中文文本的每個(gè)詞的屬性之一，從而把專有名詞識(shí)別問題轉(zhuǎn)換成一個(gè)分類問題。特別是考慮了正在識(shí)別的詞與已經(jīng)識(shí)別為某類專有名詞的前一個(gè)詞之間的一種聯(lián)系等語篇信息，綜合利用了隨機(jī)模型和基于特征推理方法的優(yōu)點(diǎn)。 我們選用山西大學(xué)中文評(píng)測(cè)語料中共230篇作為實(shí)驗(yàn)材料，隨機(jī)抽取其中180篇用于訓(xùn)練動(dòng)態(tài)貝葉斯模型參數(shù)，剩余的50篇用于測(cè)試，然后同Nymble模型單獨(dú)識(shí)別的結(jié)果比較，我們把動(dòng)態(tài)貝葉斯模型作為Nymbl