基于CRFs的中文分詞算法研究與實現(xiàn).pdf

1、中文分詞是漢語自然語言處理的基礎(chǔ)性任務(wù)，分詞的準確度直接影響到后續(xù)處理任務(wù)，分詞的速度影響一些系統(tǒng)的實際應(yīng)用。
　　 條件隨機場（CRFs）是用于序列標記和數(shù)據(jù)分割以及組塊分析的條件概率模型，是給定輸入序列條件下計算輸出序列的無向圖模型。它屬于“判別”模型，沒有“生成”模型的代表隱馬爾可夫模型（HMMs）嚴格的輸出獨立性假設(shè)，且克服了最大熵馬爾可夫模型（MEMMs）等其它“判別”模型的標記偏置問題。該模型可以非常容易的將輸入序列

2、中的任意特征納入到模型中。
　　 條件隨機場理論與它之前的基于統(tǒng)計方法的模型有著聯(lián)系。條件隨機場理論有著隱馬爾可夫模型面臨的三個基本問題，在解決相同問題時又用到了相似的解決方法。其條件概率模型與最大熵模型的概率模型的推導(dǎo)原理及參數(shù)估計函數(shù)的形式相同，且其條件概率模型借鑒了最大熵馬爾可夫模型的概率分布的形式。
　　 本文系統(tǒng)地描述了條件隨機場理論。為了更清楚的描述條件隨機場理論，我們先是給出了隱馬爾可夫模型、最大熵模型和最

3、大熵馬爾可夫模型的相關(guān)描述。而后給出了條件隨機場的定義、模型結(jié)構(gòu)、勢函數(shù)的定義、參數(shù)估計、訓(xùn)練方法和計算方法等。接著本文描述了將條件隨機場用于漢語分詞，采用漢字標注的分詞方法及基于CRFs的中文自動分詞系統(tǒng)的實現(xiàn)。基于CRFs的中文分詞的準確度很高，但分詞速度有待提高。分詞速度是分詞系統(tǒng)的一個重要指標，分詞速度有賴于詞典結(jié)構(gòu)查詢速度的提高，本文提出了基于雙字節(jié)的雙數(shù)組查詢方法，速度上比基于單字節(jié)查詢提高了10％左右，并針對雙數(shù)組結(jié)構(gòu)空間