基于條件隨機(jī)場(chǎng)的互聯(lián)網(wǎng)文本命名實(shí)體識(shí)別研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，交流方式越來越趨向于網(wǎng)絡(luò)平臺(tái)，比較明顯的有微博、網(wǎng)絡(luò)新聞、評(píng)論等，這些都屬于互聯(lián)網(wǎng)文本，其形式各種各樣。從文本中如何獲取有效信息，是目前比較關(guān)注的問題，隨之而來的命名實(shí)體識(shí)別就是提取有效信息的一種技術(shù)。
　　命名實(shí)體識(shí)別是從文本中識(shí)別出人名、地名、機(jī)構(gòu)名等專有名詞，是自然語言處理的一項(xiàng)關(guān)鍵技術(shù)，同時(shí)也是文本信息處理的重要基礎(chǔ)。至今為止，對(duì)文本進(jìn)行命名實(shí)體識(shí)別較為普遍的方法有三種：基于統(tǒng)計(jì)的方法、基于規(guī)則的方法

2、、規(guī)則和統(tǒng)計(jì)結(jié)合的方法，三種方法都存在著一些不足之處，如何利用好三種方法進(jìn)行命名實(shí)體識(shí)別尤為關(guān)鍵。
　　本文采用統(tǒng)計(jì)和規(guī)則相結(jié)合的方法對(duì)互聯(lián)網(wǎng)文本進(jìn)行命名實(shí)體識(shí)別。首先對(duì)文本進(jìn)行規(guī)范化，再使用 CRF模型，以詞、詞性、上下文信息等特征進(jìn)行訓(xùn)練，結(jié)合互聯(lián)網(wǎng)文本的不規(guī)范性、隨意性和娛樂性等特點(diǎn)，以及若干匹配規(guī)則對(duì)文本進(jìn)行命名實(shí)體識(shí)別。其中在去噪部分使用了新的方法，特征模板組合及參數(shù)的選取優(yōu)化了條件隨機(jī)場(chǎng)模型，實(shí)驗(yàn)結(jié)果表明，該方法能夠有