條件隨機場在序列標注任務中的應用研究.pdf

1、隨著社會的日益信息化，人們越來越強烈地希望用自然語言同計算機交流。自然語言理解是計算機科學中的一個引人入勝的、富有挑戰(zhàn)性的課題。從計算機科學特別是從人工智能的觀點看，自然語言理解的任務是建立一種計算機模型，這種計算機模型能夠給出象人那樣理解、分析并回答自然語言(即人們日常使用的各種通俗語言)的結果。 中文自然語言處理是讓機器理解中文的核心技術。在語義理解的整個過程中，智能分詞技術是最初的一個環(huán)節(jié)。它將組成語句的核心詞提煉出來供語

2、義分析模塊使用。在分詞的過程中，如何能夠恰當?shù)靥峁┳銐蚨嗟脑~來供分析程序處理，并且過濾掉冗余的信息，這是后期語義分析的質量和速度的重要前提。 命名實體識別任務是指識別文本中人名、地名等具有特定意義的實體，屬于信息抽取任務。因為實體通常具有唯一性，所以命名實體識別在信息檢索、信息提取等應用系統(tǒng)中受到特別的重視。好的命名實體識別效果對應用系統(tǒng)的性能起到很大作用。 中文分詞和專有名詞識別都可以看作一個序列標注任務來完成。而條件

3、隨機場是應用廣泛的序列標注模型。條件隨機場模型衍生自圖模型中的馬爾可夫隨機場。以圖結構和概率論相結合的方式來描述隨機變量的分布。在序列標注任務中，條件隨機場的簡單形式——鏈式條件隨機場——將求得整個無向圖所表示的隨機變量的聯(lián)合概率分布。通過求得最大后驗概率的方式，來取得原序列對應的最終標記序列。 本文主要講解了條件隨機場的基本原理。著重從條件隨機場模型本身結構的角度闡述了條件隨機場在序列標注任務中的合理性和適合性。并通過與其它傳