基于字的分詞方法的研究與實(shí)現(xiàn).pdf

1、許多中文自然語(yǔ)言處理任務(wù)需要以詞為單位的數(shù)據(jù)，分詞是這樣的處理任務(wù)的第一步。在中文句子中，除了有標(biāo)點(diǎn)符號(hào)用來斷句外，字與字緊密相連，某個(gè)字串是否成詞往往與上下文有關(guān)。這與英文等語(yǔ)言很不相同：英文中有空格符作為詞語(yǔ)的分割標(biāo)記，而中文卻沒有類似標(biāo)記。由于上下文是一個(gè)相對(duì)模糊的概念，這使得分詞成為一項(xiàng)困難的任務(wù)。隨著統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的成熟，其應(yīng)用領(lǐng)域也逐漸擴(kuò)展?；诮y(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的利用字標(biāo)注思想的分詞方法在中文分詞任務(wù)中取得了很好的效果。研

2、究人員將研究較為成熟的詞性標(biāo)注思想引入到中文分詞中來，使得中文分詞方法的準(zhǔn)確率得到極大的提升。
　　本文介紹了兩個(gè)統(tǒng)計(jì)模型：最大熵模型和線性鏈條件隨機(jī)場(chǎng)模型，重點(diǎn)關(guān)注它們的推導(dǎo)過程和在基于字標(biāo)注的分詞方法中的應(yīng)用。本文使用了較大篇幅詳細(xì)介紹模型的推導(dǎo)過程，以加深對(duì)模型的理解及利于模型的實(shí)現(xiàn)。在此基礎(chǔ)上，本文利用這兩個(gè)模型設(shè)計(jì)了分詞方法，并就分詞過程中涉及的多個(gè)步驟設(shè)計(jì)了改進(jìn)方法：對(duì)于模型訓(xùn)練，本文分析了模型實(shí)現(xiàn)時(shí)重要的數(shù)據(jù)結(jié)構(gòu)、提

3、出了多線程優(yōu)化方法；對(duì)于基于最大熵模型的分詞方法，本文優(yōu)化了最大熵模型的表示、提出了一種新的屬于動(dòng)態(tài)規(guī)劃方法的預(yù)測(cè)算法。同時(shí)，本文通過實(shí)驗(yàn)討論了多線程優(yōu)化對(duì)于訓(xùn)練時(shí)間的影響、增加標(biāo)記集合和增加特征對(duì)于分詞精度的影響。
　　本文的實(shí)驗(yàn)結(jié)果表明，多線程優(yōu)化技術(shù)可以有效減少模型的訓(xùn)練時(shí)間。同時(shí)，本文提出的預(yù)測(cè)方法在性能上優(yōu)于傳統(tǒng)方法，而在準(zhǔn)確度上也略優(yōu)于傳統(tǒng)方法，這意味著將更多的用于后處理的技術(shù)用于分詞階段有利于提高分詞精度。另外，本文