基于統(tǒng)計的漢語自動分詞系統(tǒng).pdf

1、本文論述了基于統(tǒng)計的漢語自動分詞系統(tǒng)的原理和過程.本文首先回顧了分詞的發(fā)展歷史,總結(jié)了分詞的目標(biāo),分析了分詞存在的問題,總結(jié)了前人對基于語料庫的統(tǒng)計分詞理論的研究.然后,在分析漢語分詞處理模式的缺點的基礎(chǔ)上,本文研究了一個迭代的漢語統(tǒng)計分詞的處理模式并提出了在建立和優(yōu)化詞典的過程中隱含訓(xùn)練和優(yōu)化語言模型的觀點.詞典在分詞系統(tǒng)中非常重要,它是分詞的基礎(chǔ).為得到一個既穩(wěn)定又動態(tài)變化的詞典,在基于統(tǒng)計的分詞方法中,需要先對大量的語料文本進(jìn)行處

2、理來得到一個初始詞典.為克服計算機(jī)內(nèi)存和效率的限制,采取PAT樹來建立初始詞典.本文給出了PAT樹的形式化定義,研究了PAT樹的結(jié)構(gòu)、工作原理和改進(jìn)措施,并詳細(xì)探討了PAT樹的構(gòu)造算法.接著,本文深入研究了初始詞典的結(jié)構(gòu),給出了初始詞典內(nèi)部結(jié)構(gòu)的形式化定義,詳細(xì)地研究了初始詞典的建立過程,包括語料文本的處理和PAT樹的建立,探討了初始詞典的構(gòu)造算法并分析了初始詞典和PAT樹的性能.為了減小詞典的規(guī)模,提高分詞的效率和準(zhǔn)確性,需要對初始詞

3、典作進(jìn)一步的處理.本文詳細(xì)探討了初始詞典的處理機(jī)制,研究了詞典的組成,非常詳細(xì)地分析了初始詞典的處理,探討了詞典的收詞原則,詳細(xì)研究了詞典的處理過程.接著,本文應(yīng)用詞典對語料文本進(jìn)行分詞.確定了分詞的原則和步驟,主要分析了本系統(tǒng)在解決交集型歧義和未登陸詞問題的優(yōu)點.由于語料文本的限制,需要不斷地進(jìn)行詞典和語言模型的優(yōu)化.本文對詞典和語言模型的迭代優(yōu)化進(jìn)行了研究,主要分析了如何對詞典和語言模型進(jìn)行迭代優(yōu)化以解決在分詞過程中出現(xiàn)的問題.然后