綜合字典和統(tǒng)計分析的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、中文分詞技術(shù)主要包含以下三個研究方向：理解分詞，機(jī)械分詞以及統(tǒng)計分詞?；诶斫獾姆衷~方法研究尚未成熟，所以，絕大部分中文分詞系統(tǒng)是應(yīng)用機(jī)械統(tǒng)計相結(jié)合的方法。在目前主流的詞典和統(tǒng)計相結(jié)合的分詞系統(tǒng)中，統(tǒng)計策略和詞典設(shè)計的關(guān)系往往是相互獨(dú)立的，詞典主要是作為機(jī)械分詞的標(biāo)準(zhǔn)，而基于統(tǒng)計的方法主要是為了解決歧義問題以及未登錄詞的識別問題。
　　 本文所闡述的中文分詞系統(tǒng)，將基于分詞核心詞典的機(jī)械分詞和基于統(tǒng)計的方法組成了一個有機(jī)的整體。

2、系統(tǒng)將統(tǒng)計得出的結(jié)果作為分詞核心詞典的輸入，對于待切分文本來說，對于未登錄詞和詞典詞條，本文算法的本質(zhì)均是先基于統(tǒng)計的方法擴(kuò)充核心詞典，然后采用基于字符串匹配的分詞方法切詞。
　　 總體上講，本系統(tǒng)具有以下三方面的特點(diǎn)。專用性：適合計算機(jī)學(xué)科專業(yè)領(lǐng)域的分詞，這主要取決于訓(xùn)練文本的選擇；分詞效率高：算法核心是基于字符串匹配的方法：分詞精度較好：利用簡單統(tǒng)計量模型與機(jī)械分詞的有機(jī)結(jié)合解決了部分歧義詞和未登錄詞問題。
　　 解

3、決方案中涉及到的關(guān)鍵技術(shù)主要包括以下三個部分：
　　 第一、分詞詞典的設(shè)計。在整體結(jié)構(gòu)上，詞典分成兩級結(jié)構(gòu)，臨時詞典和核心詞典。臨時詞典是通過統(tǒng)計方法將新詞條向分詞核心詞典中輸送的中間容器。核心詞典是分詞系統(tǒng)中切分的唯一依據(jù)，為了提高查詢速度，結(jié)合中文二字詞比例較大的特點(diǎn)，核心詞典采用雙層哈希結(jié)構(gòu)。
　　 第二、統(tǒng)計策略的制定。歧義詞和新詞的識別主要依靠基于統(tǒng)計的方法，本文選擇了基于互信息原理的方法進(jìn)行詞頻統(tǒng)計。該統(tǒng)計模