基于統(tǒng)計(jì)規(guī)則的中文分詞研究.pdf

1、中文分詞是中文信息處理的前置過程，其任務(wù)是使用機(jī)器自動(dòng)識(shí)別中文文本中的詞邊界。中文分詞的幾個(gè)關(guān)鍵問題分別是：語料庫的建設(shè)、分詞歧義消解以及未登錄詞識(shí)別。本文主要研究分詞歧義消解問題，并針對(duì)分詞系統(tǒng)的反饋問題，提出了基于統(tǒng)計(jì)規(guī)則的分詞算法。
　　 基于詞典的機(jī)械匹配是分詞處理的首要環(huán)節(jié)，而詞典的結(jié)構(gòu)對(duì)詞語匹配速度有很大的影響。針對(duì)首字哈希、雙字哈希等詞典結(jié)構(gòu)不可避免地需要進(jìn)行二分查找，從而影響匹配速度的問題，本文提出了全哈希前綴樹

2、的詞典結(jié)構(gòu)，將詞語匹配的時(shí)間復(fù)雜度降低為O(N)，其中N是詞語的平均長度。實(shí)驗(yàn)表明，該詞典結(jié)構(gòu)的詞語匹配速度是首字哈希結(jié)構(gòu)的5倍以上。統(tǒng)計(jì)排歧方法不可避免地受到語料庫質(zhì)量和平衡性的影響，不能覆蓋一些特殊情況。因此本文提出了一種切分規(guī)則，對(duì)分詞系統(tǒng)不能正確切分的情況，允許用戶通過編寫切分規(guī)則的方式給分詞系統(tǒng)提供反饋信息，校正分詞錯(cuò)誤。同時(shí)將詞語匹配、切分規(guī)則匹配和統(tǒng)計(jì)排歧過程統(tǒng)一在一個(gè)算法中。這種基于統(tǒng)計(jì)規(guī)則的分詞算法其時(shí)間復(fù)雜度是O(M