基于CRF的農(nóng)業(yè)命名實(shí)體識(shí)別研究.pdf

1、命名實(shí)體是文本中最基本的信息元素，是正確理解文本的基礎(chǔ)。命名實(shí)體識(shí)別是要判斷一個(gè)字符串是否代表一個(gè)命名實(shí)體，并且它的類別，即發(fā)現(xiàn)命名實(shí)體和標(biāo)注命名實(shí)體的類別。命名實(shí)體識(shí)別廣泛應(yīng)用于自然語(yǔ)言處理任務(wù)中，如機(jī)器翻譯、分本分類、信息檢索和自動(dòng)文摘等，所以命名實(shí)體的研究成果必將推動(dòng)自然語(yǔ)言處理領(lǐng)域的相關(guān)研究。本文對(duì)農(nóng)業(yè)中的命名實(shí)體進(jìn)行識(shí)別研究，從以下幾個(gè)方面進(jìn)行了研究和探討。
　　第一，總結(jié)了前人研究命名實(shí)體識(shí)別的方法和研究現(xiàn)狀，深入了解

2、了近年來(lái)國(guó)內(nèi)外命名實(shí)體識(shí)別的評(píng)測(cè)活動(dòng)，總結(jié)了農(nóng)業(yè)命名實(shí)體識(shí)別研究的困難;深入學(xué)習(xí)隱馬爾科夫(HMM)模型、最大熵(ME)模型、條件隨機(jī)場(chǎng)(CRF)模型理論知識(shí)、模型的推導(dǎo)過(guò)程，分析了三個(gè)模型的優(yōu)缺點(diǎn)，最終選擇CRF模型進(jìn)行農(nóng)業(yè)命名實(shí)體識(shí)別的研究。
　　第二，采用CRF模型，以字作為輸入的粒度，綜合農(nóng)業(yè)命名實(shí)體的內(nèi)部特征和外部特征，選擇了合適的特征，結(jié)合文本信息的上下文特征進(jìn)行訓(xùn)練，得到一個(gè)識(shí)別效率比較好的模型文件。通過(guò)測(cè)試得出基于