基于統(tǒng)計規(guī)則的中文分詞研究.pdf

1、中文分詞是中文信息處理的前置過程，其任務(wù)是使用機(jī)器自動識別中文文本中的詞邊界。中文分詞的幾個關(guān)鍵問題分別是：語料庫的建設(shè)、分詞歧義消解以及未登錄詞識別。本文主要研究分詞歧義消解問題，并針對分詞系統(tǒng)的反饋問題，提出了基于統(tǒng)計規(guī)則的分詞算法。
　　 基于詞典的機(jī)械匹配是分詞處理的首要環(huán)節(jié)，而詞典的結(jié)構(gòu)對詞語匹配速度有很大的影響。針對首字哈希、雙字哈希等詞典結(jié)構(gòu)不可避免地需要進(jìn)行二分查找，從而影響匹配速度的問題，本文提出了全哈希前綴樹

2、的詞典結(jié)構(gòu)，將詞語匹配的時間復(fù)雜度降低為O(N)，其中N是詞語的平均長度。實驗表明，該詞典結(jié)構(gòu)的詞語匹配速度是首字哈希結(jié)構(gòu)的5倍以上。統(tǒng)計排歧方法不可避免地受到語料庫質(zhì)量和平衡性的影響，不能覆蓋一些特殊情況。因此本文提出了一種切分規(guī)則，對分詞系統(tǒng)不能正確切分的情況，允許用戶通過編寫切分規(guī)則的方式給分詞系統(tǒng)提供反饋信息，校正分詞錯誤。同時將詞語匹配、切分規(guī)則匹配和統(tǒng)計排歧過程統(tǒng)一在一個算法中。這種基于統(tǒng)計規(guī)則的分詞算法其時間復(fù)雜度是O(M