基于條件隨機場的中文分詞研究.pdf

1、分詞是中文自然語言處理的基本問題。很多自然語言處理任務都建立在分詞的基礎之上，分詞的準確程度直接影響到一系列后續(xù)處理的正確性。但由于漢語自身的復雜性，分詞問題一直是中文自然語言處理的難題。 條件隨機場是一種無向圖模型，它具有產生式模型和最大熵馬爾可夫模型的優(yōu)點。既可以利用任意上下文特征，并對這些特征進行訓練；又可以通過折衷不同位置的不同特征值的方法獲得全局最優(yōu)的標記結果。 基于統(tǒng)計的中文分詞按照分類單位劃分，通?？煞譃榛?/p>

2、于漢字標注的分詞和基于全切分圖的分詞兩種方法。目前，條件隨機場方法主要應用于基于漢字標注的分詞問題研究，但這種方法不能有效地利用詞匯信息。本文對基于條件隨機場的中分分詞理論和技術做了研究，并實現了一個基于全切分圖的條件隨機場分詞訓練和測試系統(tǒng)。由于漢語的詞之間沒有明顯的邊界標記，所以無法直接用條件隨機場進行分詞模型的訓練和測試。本文使用構建起始詞矩陣和結束詞矩陣的方法，來輔助構建基于全切分圖的條件隨機場模型。本文使用機器學習方法訓練基于