基于條件隨機場的互聯(lián)網文本命名實體識別研究.pdf

1、隨著互聯(lián)網的快速發(fā)展，交流方式越來越趨向于網絡平臺，比較明顯的有微博、網絡新聞、評論等，這些都屬于互聯(lián)網文本，其形式各種各樣。從文本中如何獲取有效信息，是目前比較關注的問題，隨之而來的命名實體識別就是提取有效信息的一種技術。
　　命名實體識別是從文本中識別出人名、地名、機構名等專有名詞，是自然語言處理的一項關鍵技術，同時也是文本信息處理的重要基礎。至今為止，對文本進行命名實體識別較為普遍的方法有三種：基于統(tǒng)計的方法、基于規(guī)則的方法

2、、規(guī)則和統(tǒng)計結合的方法，三種方法都存在著一些不足之處，如何利用好三種方法進行命名實體識別尤為關鍵。
　　本文采用統(tǒng)計和規(guī)則相結合的方法對互聯(lián)網文本進行命名實體識別。首先對文本進行規(guī)范化，再使用 CRF模型，以詞、詞性、上下文信息等特征進行訓練，結合互聯(lián)網文本的不規(guī)范性、隨意性和娛樂性等特點，以及若干匹配規(guī)則對文本進行命名實體識別。其中在去噪部分使用了新的方法，特征模板組合及參數(shù)的選取優(yōu)化了條件隨機場模型，實驗結果表明，該方法能夠有