基于統(tǒng)計的機器學(xué)習的中文命名實體識別.pdf

1、本文運用統(tǒng)計與規(guī)則相結(jié)合的方法,一方面利用了較大規(guī)模的語料庫來訓(xùn)練,統(tǒng)計命名實體的用字用詞規(guī)律.另一方面,從已經(jīng)標注的語料庫中提取了大量用于識別的規(guī)則,最終成功的實現(xiàn)了這些命名實體的識別,識別的精度比單純基于統(tǒng)計的方法和單純基于規(guī)則的方法都有所提高,具體地,本文的工作主要集中在以下幾個方面:1.漢字編碼轉(zhuǎn)換.漢字編碼是漢語文本進入計算機處理的第一步.漢語由于存在簡體、繁體兩種體統(tǒng),編碼比較復(fù)雜,編碼的格式并不統(tǒng)一.本文研究并實現(xiàn)了漢語不

2、同編碼體統(tǒng)之前的轉(zhuǎn)換,支持當前所有主要漢語編碼間的轉(zhuǎn)換并實現(xiàn)了多種漢字符號集的共存.為后面的文本預(yù)處理和命名實體識別提供了基礎(chǔ).2.非漢字符號和數(shù)字識別.非漢字符號和數(shù)字是文本中比較容易識別的部分,可以在命名實體識別之前進行處理.本文首先對不同格式、不同內(nèi)容的文本進行了分句處理,然后對文本中的非漢字符號,如百分比、金額、阿拉伯數(shù)字等,以及漢字數(shù)字進行了識別.3.基于評價函數(shù)的人名地名識別.本文通過對大規(guī)模標注語料進行訓(xùn)練,統(tǒng)計出人名、地

3、名的用字、用詞和上下文特性,用基于統(tǒng)計的評價函數(shù)對侯選人名、地名進行打分,通過運用動態(tài)規(guī)劃方法識別出人名、地名在文本中可能出現(xiàn)的位置.4.基于決策樹的命名實體識別.引入機器學(xué)習的方法,設(shè)計了一種基于決策樹的識別模型,結(jié)合了命名實體句法組成的基本結(jié)構(gòu)特征和上下文特征,該方法不依賴于分詞系統(tǒng),可以對分詞過后的語料進行處理,同時也對其它命名實體進行了識別.5.基于模板匹配的機構(gòu)名識別.通過真實語料中獲取的大量機構(gòu)名,對機構(gòu)名的組成進行了深入的