中文名實體識別與新詞發(fā)現(xiàn)技術研究.pdf

1、名實體及新詞是能夠準確反映文本內容的基本信息元素，是正確理解文本的基礎。名實體識別及新詞發(fā)現(xiàn)技術廣泛應用于諸多自然語言處理任務中，如信息檢索、機器翻譯、文本分類以及自動文摘等，所以名實體識別及新詞發(fā)現(xiàn)的研究成果必將推動自然語言處理領域的相關研究。本文主要對中文名實體識別及新詞發(fā)現(xiàn)進行了研究，具體的研究內容主要包括以下幾個方面：
　　1.針對當前名實體識別中識別效率低下，實用性不高以及對復雜名實體識別效果差的問題，本文根據(jù)中文名實體

2、具有嵌套的特點，利用層次隱馬爾科夫模型來分別對簡單地名、人名；地名簡稱；復雜地名、機構名分層進行識別。在識別過程中自行設計了粗切分方法，在粗分的基礎上利用自行設計的標記集來分層標注，最終識別出想要的名實體。在每一層利用N-best思想，輸出N個結果給下一層，以求找到最優(yōu)的解。
　　2.針對層次隱馬爾科夫模型中數(shù)據(jù)稀疏以及系統(tǒng)移植性差的問題，在上面的分層處理結束后我們利用改進的基于轉換的學習方法作為后處理技術來自行改進識別效果。由于

3、對TBL學習到的規(guī)則進行了優(yōu)化，目前的后處理具有較好的效率。在2004年863標準測試集上進行了開放測試，測試結果的F值達到83％。
　　3.針對當前新詞發(fā)現(xiàn)中新詞長度受限、領域受限以及對發(fā)現(xiàn)的正確新詞不能優(yōu)先排序等問題，本文利用統(tǒng)計與規(guī)則相結合的策略來進行新詞發(fā)現(xiàn)。利用重復串頻度查找來構建新詞候選集；然后利用停用詞集、停用詞性集、頭部停用詞性集、尾部停用詞性集、有限窗口過濾等技術來進行垃圾串濾除。對于得到的新詞集，本文使用基于頻