基于統(tǒng)計(jì)和規(guī)則的中文人名識(shí)別研究與實(shí)現(xiàn).pdf

1、中文分詞技術(shù)的研究是中文信息處理的一項(xiàng)基礎(chǔ)性課題，廣泛應(yīng)用于搜索引擎、機(jī)器翻譯、信息抽取、文本聚類等領(lǐng)域。目前，影響分詞質(zhì)量的主要因素是歧義切分和對(duì)未登錄詞的識(shí)別，而人名在未登錄詞中又是數(shù)量最多、識(shí)別難度最大的一類，分詞系統(tǒng)中往往針對(duì)人名有專門的模塊進(jìn)行識(shí)別。提高對(duì)人名識(shí)別的質(zhì)量，不僅能夠提高分詞的精度，而且對(duì)信息抽取和詞法分析有很大幫助。
　　 本文針對(duì)現(xiàn)代漢語(yǔ)文本，主要研究人名的自動(dòng)識(shí)別問(wèn)題。在對(duì)大規(guī)模姓名樣本庫(kù)和語(yǔ)料庫(kù)進(jìn)行

2、統(tǒng)計(jì)的基礎(chǔ)上，對(duì)人名用字和人名邊界詞進(jìn)行分析，總結(jié)人名用字和人名邊界詞出現(xiàn)規(guī)律，使用基于相對(duì)可信度的統(tǒng)計(jì)模型和針對(duì)系統(tǒng)自身特點(diǎn)設(shè)計(jì)的一系列規(guī)則來(lái)進(jìn)行人名識(shí)別。具體地，本文的主要工作有三方面內(nèi)容:一是對(duì)人名識(shí)別所使用的資源作分析，對(duì)大規(guī)模人名庫(kù)（含480萬(wàn)個(gè)人名）和語(yǔ)料庫(kù)（累計(jì)詞頻30億）進(jìn)行統(tǒng)計(jì)，總結(jié)人名用字特點(diǎn)和規(guī)律，對(duì)人名的邊界信息作了詳細(xì)分析，根據(jù)人名邊界詞的詞性和所表達(dá)的意義對(duì)其進(jìn)行了分級(jí)，作為人名外部屬性幫助人名識(shí)別，然后對(duì)本

3、文所使用的百科語(yǔ)料庫(kù)與傳統(tǒng)語(yǔ)料庫(kù)進(jìn)行了對(duì)比，指出其優(yōu)越性;在本文所使用的統(tǒng)計(jì)方法方面，使用基于相對(duì)可信度的統(tǒng)計(jì)模型對(duì)大規(guī)模語(yǔ)料庫(kù)進(jìn)行了統(tǒng)計(jì)，同時(shí)對(duì)兩種特殊形式的人名建立了模型并作出統(tǒng)計(jì)，建立了人名各類用字的統(tǒng)計(jì)信息表;在規(guī)則方法的使用方面，本文設(shè)計(jì)了一系列的規(guī)則用于提取候選姓名和對(duì)人名識(shí)別結(jié)果進(jìn)行校正。最后本文通過(guò)統(tǒng)計(jì)獲得系統(tǒng)使用的各個(gè)閾值和參數(shù)，通過(guò)實(shí)驗(yàn)對(duì)在研究過(guò)程中使用的方法做了對(duì)比，并驗(yàn)證本文所使用的統(tǒng)計(jì)模型和規(guī)則的有效性。