基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)的中文命名實(shí)體識別.pdf

1、本文運(yùn)用統(tǒng)計(jì)與規(guī)則相結(jié)合的方法,一方面利用了較大規(guī)模的語料庫來訓(xùn)練,統(tǒng)計(jì)命名實(shí)體的用字用詞規(guī)律.另一方面,從已經(jīng)標(biāo)注的語料庫中提取了大量用于識別的規(guī)則,最終成功的實(shí)現(xiàn)了這些命名實(shí)體的識別,識別的精度比單純基于統(tǒng)計(jì)的方法和單純基于規(guī)則的方法都有所提高,具體地,本文的工作主要集中在以下幾個方面:1.漢字編碼轉(zhuǎn)換.漢字編碼是漢語文本進(jìn)入計(jì)算機(jī)處理的第一步.漢語由于存在簡體、繁體兩種體統(tǒng),編碼比較復(fù)雜,編碼的格式并不統(tǒng)一.本文研究并實(shí)現(xiàn)了漢語不

2、同編碼體統(tǒng)之前的轉(zhuǎn)換,支持當(dāng)前所有主要漢語編碼間的轉(zhuǎn)換并實(shí)現(xiàn)了多種漢字符號集的共存.為后面的文本預(yù)處理和命名實(shí)體識別提供了基礎(chǔ).2.非漢字符號和數(shù)字識別.非漢字符號和數(shù)字是文本中比較容易識別的部分,可以在命名實(shí)體識別之前進(jìn)行處理.本文首先對不同格式、不同內(nèi)容的文本進(jìn)行了分句處理,然后對文本中的非漢字符號,如百分比、金額、阿拉伯?dāng)?shù)字等,以及漢字?jǐn)?shù)字進(jìn)行了識別.3.基于評價函數(shù)的人名地名識別.本文通過對大規(guī)模標(biāo)注語料進(jìn)行訓(xùn)練,統(tǒng)計(jì)出人名、地

3、名的用字、用詞和上下文特性,用基于統(tǒng)計(jì)的評價函數(shù)對侯選人名、地名進(jìn)行打分,通過運(yùn)用動態(tài)規(guī)劃方法識別出人名、地名在文本中可能出現(xiàn)的位置.4.基于決策樹的命名實(shí)體識別.引入機(jī)器學(xué)習(xí)的方法,設(shè)計(jì)了一種基于決策樹的識別模型,結(jié)合了命名實(shí)體句法組成的基本結(jié)構(gòu)特征和上下文特征,該方法不依賴于分詞系統(tǒng),可以對分詞過后的語料進(jìn)行處理,同時也對其它命名實(shí)體進(jìn)行了識別.5.基于模板匹配的機(jī)構(gòu)名識別.通過真實(shí)語料中獲取的大量機(jī)構(gòu)名,對機(jī)構(gòu)名的組成進(jìn)行了深入的