基于條件隨機場的網(wǎng)絡文本分詞研究.pdf

1、自然語言處理技術目前已發(fā)展為信息處理領域的一個的熱點研究問題。其中漢語的處理任務大都需要先進行分詞，經(jīng)過多年的深入研究，漢語自動分詞技術在應對傳統(tǒng)文本上已經(jīng)取得了不錯的成績。然而，網(wǎng)絡文本的分詞水平卻不能令人滿意，主要是由于網(wǎng)絡文本的文體與傳統(tǒng)文本有很大的不同，這就對目前的分詞研究提出了新的課題。條件隨機場(Conditional Random Fields，CRFs)模型不需要嚴格獨立的假設，而且克服了標記偏置問題，因此被廣泛的應用到

2、漢語自動分詞中，并取得了不錯的效果。本文在基于字和詞標注結合條件隨機場模型的基礎上，進行適合網(wǎng)絡文本的分詞方法研究。
　　本研究主要內(nèi)容包括：⑴介紹隱馬爾可夫模型、最大熵馬爾可夫模型和條件隨機場模型，闡述CRFs模型在漢語標注方面的優(yōu)越性。⑵總結分析網(wǎng)絡文本的特點，在基于字標注和基于詞標注相結合的條件隨機場模型的基礎上，改進標注集，采用適合于網(wǎng)絡文本的特征模板，提高系統(tǒng)對網(wǎng)絡文本的分詞能力。⑶由于網(wǎng)絡文本與傳統(tǒng)文本的不同，這就導致