中文未登錄名詞短語(yǔ)的識(shí)別方法研究.pdf

1、自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)中一個(gè)引人入勝、富有挑戰(zhàn)性的課題。它的任務(wù)是建立一種計(jì)算模型，這種計(jì)算模型能夠模擬人類(lèi)語(yǔ)言認(rèn)知的過(guò)程。但是當(dāng)前計(jì)算機(jī)的智能水平還遠(yuǎn)遠(yuǎn)不能與人類(lèi)相提并論，困擾其發(fā)展的原因有很多，對(duì)未登錄詞的識(shí)別是自然語(yǔ)言處理領(lǐng)域亟待解決的幾個(gè)難題之一。本論文在剖析現(xiàn)有未登錄名詞短語(yǔ)識(shí)別算法基礎(chǔ)之上，對(duì)中文未登錄名詞短語(yǔ)，特別是名詞短語(yǔ)中的姓名進(jìn)行研究，提出了一種新的基于詞性探測(cè)的中文姓名識(shí)別算法。同時(shí)，結(jié)合“支持向量機(jī)”這一新的機(jī)

2、器學(xué)習(xí)方法，從不同的角度對(duì)中文姓名的識(shí)別問(wèn)題進(jìn)行了研究。論文提出的算法通過(guò)編程實(shí)現(xiàn)后，將作為一個(gè)重要的功能模塊應(yīng)用于由本實(shí)驗(yàn)室自主開(kāi)發(fā)的“中文自動(dòng)分詞系統(tǒng)”中，以提高該系統(tǒng)識(shí)別新詞的能力。 論文首先對(duì)自然語(yǔ)言處理作了簡(jiǎn)單介紹，提出了中文自然語(yǔ)言處理的特殊性，即漢語(yǔ)的詞與詞之間不象西方文字那樣存在自然分隔標(biāo)志，因此必須對(duì)待處理的中文文本進(jìn)行自動(dòng)分詞。隨著中文自動(dòng)分詞算法研究的深入，制約其發(fā)展的幾個(gè)問(wèn)題便越來(lái)越受到研究者的關(guān)注。其中

3、一大難題就是對(duì)中文未登錄名詞短語(yǔ)的識(shí)別。 論文主體部分介紹了名詞短語(yǔ)中姓名的識(shí)別方法，并闡述了將其作為研究中文未登錄名詞短語(yǔ)識(shí)別問(wèn)題切入點(diǎn)的意義及作用。在分析常見(jiàn)中文姓名識(shí)別方法的基礎(chǔ)上，指出了現(xiàn)有識(shí)別算法的不足，進(jìn)而提出了基于詞性探測(cè)的未登錄中文姓名識(shí)別算法。該算法結(jié)合統(tǒng)計(jì)語(yǔ)言模型和中文構(gòu)詞規(guī)則等信息，能有效識(shí)別中文姓名。此外，論文還引入了支持向量機(jī)學(xué)習(xí)方法，從統(tǒng)計(jì)學(xué)分類(lèi)的角度探討中文姓名與非中文姓名在若干特征上的差異，驗(yàn)證應(yīng)