中文地名識(shí)別研究.pdf

1、命名實(shí)體識(shí)別是自然語(yǔ)言處理技術(shù)中一項(xiàng)關(guān)鍵而基礎(chǔ)的任務(wù)，中文地名是命名實(shí)體的一個(gè)重要組成部分，且中文地名的特點(diǎn)比較復(fù)雜多樣，構(gòu)成比較隨意，導(dǎo)致中文地名識(shí)別成為自然語(yǔ)言處理中一個(gè)難以解決的任務(wù)。本文主要對(duì)中文地名的識(shí)別進(jìn)行研究，采用條件隨機(jī)場(chǎng)(Conditional RandomFields，CRF)模型來(lái)實(shí)現(xiàn)對(duì)中文地名的識(shí)別。
　　 本文首先概述了命名實(shí)體識(shí)別及其中文地名識(shí)別的概念、研究背景、國(guó)內(nèi)外研究現(xiàn)狀，并對(duì)現(xiàn)有的方法進(jìn)行了研

2、究和分析。通過(guò)對(duì)目前主流方法的學(xué)習(xí)，決定采用條件隨機(jī)場(chǎng)對(duì)地名進(jìn)行識(shí)別。條件隨機(jī)場(chǎng)是目前性能較好的模型之一，它既不受到隱馬爾科夫模型中的獨(dú)立性假設(shè)的限制，又不存在最大熵模型中的標(biāo)記偏置問(wèn)題，是一種優(yōu)秀的統(tǒng)計(jì)學(xué)習(xí)方法。
　　 中文地名的識(shí)別可以轉(zhuǎn)化為對(duì)序列進(jìn)行標(biāo)注，因此訓(xùn)練集和測(cè)試集的正確標(biāo)注直接影響了識(shí)別性能?，F(xiàn)有的識(shí)別模型在對(duì)語(yǔ)料進(jìn)行分詞時(shí)，大多采用ICTCLAS系統(tǒng)，由于該系統(tǒng)存在一些地名分詞錯(cuò)誤，降低了整體的識(shí)別性能。針對(duì)上

3、述問(wèn)題，本文建立了地名詞典，將其添加入ICTCLAS系統(tǒng)的用戶(hù)詞典，從而保證地名分詞的正確性。
　　 條件隨機(jī)場(chǎng)雖然是很優(yōu)秀的機(jī)器學(xué)習(xí)模型，但也存在收斂速度慢，訓(xùn)練時(shí)間長(zhǎng)的缺點(diǎn)，因此選取合適而精煉的特征就尤其重要。本文在結(jié)合中文文本中地名的特點(diǎn)并且學(xué)習(xí)分析了前人的研究，通過(guò)實(shí)驗(yàn)篩選了更優(yōu)的特征，并且采用遞增式學(xué)習(xí)策略進(jìn)行特征模版的篩選，提高了條件隨機(jī)場(chǎng)的地名識(shí)別性能。
　　 實(shí)驗(yàn)結(jié)果表明本文提出的中文地名識(shí)別方法能夠獲得