基于統(tǒng)計模型的中文命名實體識別方法研究及應(yīng)用.pdf

1、自然語言處理領(lǐng)域中的許多任務(wù)，都需要建立在準(zhǔn)確有效的命名實體識別結(jié)果上。命名實體識別研究的發(fā)展常常與自然語言處理技術(shù)相互制約。中文命名實體識別的研究進程大大晚于英文命名實體識別，加之中文因自身沒有明確分詞符的獨特結(jié)構(gòu)特點，也加大了中文命名實體識別的難度。醫(yī)學(xué)領(lǐng)域繁多的專業(yè)詞匯和句法特征，更加提高了該領(lǐng)域的中文命名實體識別的研究門檻。
　　本文通過對目前現(xiàn)有命名實體識別方法的總結(jié)，選擇在目前較為成熟的基于統(tǒng)計模型的命名實體方法中進行

2、深入研究。并在分析了當(dāng)前應(yīng)用于醫(yī)學(xué)領(lǐng)域的基于統(tǒng)計模型的中文命名實體識別方法研究后，發(fā)現(xiàn)由于國內(nèi)尚無公開統(tǒng)一的醫(yī)學(xué)標(biāo)注語料，這類研究無一例外均采用了各自進行人工標(biāo)注訓(xùn)練語料的方法。
　　本文受到深度學(xué)習(xí)領(lǐng)域中，在模型訓(xùn)練時進行fine-tuning的思路啟發(fā)，提出在開放領(lǐng)域新聞標(biāo)注語料進行模型訓(xùn)練的基礎(chǔ)上，通過醫(yī)學(xué)專業(yè)詞典對統(tǒng)計模型進行fine-tuning，以使其能夠在對中文臨床病歷的命名實體識別任務(wù)中有良好表現(xiàn)。該方法有效減少了

3、在命名實體識別研究前期，為訓(xùn)練模型而不得不進行語料標(biāo)注的工作量。并且避免了由于人工標(biāo)注訓(xùn)練語料帶來的主觀偏差。經(jīng)實驗證明，該模型優(yōu)化算法對隱馬爾可夫模型和條件隨機場模型均有效，分別將其準(zhǔn)確率提高了6.8％和10.5％，召回率分別提高了8.9％和11.1％。
　　最后，在應(yīng)用中本文基于對1066份現(xiàn)實中文臨床病歷的命名實體識別結(jié)果，利用規(guī)則和字典相結(jié)合的方法對病歷內(nèi)容進行了關(guān)鍵信息抽取。并利用醫(yī)學(xué)邏輯規(guī)則，對關(guān)鍵信息中的潛在信息進行