融合外部知識的中文命名實體識別研究及其醫(yī)療領(lǐng)域應用.pdf

1、命名實體識別的主要任務是將文本中的人名、地名、機構(gòu)名等有特殊意義的實體識別出來，作為自然語言處理領(lǐng)域的基礎(chǔ)任務之一，命名實體識別幾十年來始終是研究熱點之一。隨著基于統(tǒng)計的機器學習方法的發(fā)展，在訓練語料中出現(xiàn)過的實體的識別效果已經(jīng)很好，但未登陸詞的識別仍是命名實體識別的難點之一。
　　針對這個問題，我們首先對傳統(tǒng)的條件隨機場（CRF，Conditional Random Fields）模型融入詞表的方式進行研究，希望使CRF模型可以

2、識別出詞表中的實體，并使用維基詞表在通用領(lǐng)域進行了實驗。
　　之后，我們注意到了近年來深度神經(jīng)網(wǎng)絡的迅猛發(fā)展，其中循環(huán)神經(jīng)網(wǎng)絡（RNN，Recurrent Neural Network）和RNN的一個改進LSTM（Long-Short Term Memory）在自然語言處理領(lǐng)域有著十分優(yōu)秀的表現(xiàn)。LSTM在訓練中理論上可以使用全部的前文信息，而雙向LSTM可以使用整個序列的信息。
　　我們接下來使用雙向LSTM模型進行了命名

3、實體識別的識別器的設(shè)計，其中引入了Dropout、轉(zhuǎn)移代價計算等各種技術(shù)，并按照該模型使用Python
　　Theano實現(xiàn)了一個命名實體識別工具。我們使用這個工具在通用領(lǐng)域做了大量的實驗，證明了雙向LSTM模型在命名實體識別任務中效果遠遠優(yōu)于CRF模型，在多組實驗中提升了2％左右的F值。
　　此外，我們還利用深度神經(jīng)網(wǎng)絡的預訓練技巧在雙向LSTM模型中添加了更多的外部信息，實驗表明也有一定的效果。
　　最后，我們利用