基于統(tǒng)計(jì)的漢語(yǔ)自動(dòng)分詞系統(tǒng).pdf

1、本文論述了基于統(tǒng)計(jì)的漢語(yǔ)自動(dòng)分詞系統(tǒng)的原理和過程.本文首先回顧了分詞的發(fā)展歷史,總結(jié)了分詞的目標(biāo),分析了分詞存在的問題,總結(jié)了前人對(duì)基于語(yǔ)料庫(kù)的統(tǒng)計(jì)分詞理論的研究.然后,在分析漢語(yǔ)分詞處理模式的缺點(diǎn)的基礎(chǔ)上,本文研究了一個(gè)迭代的漢語(yǔ)統(tǒng)計(jì)分詞的處理模式并提出了在建立和優(yōu)化詞典的過程中隱含訓(xùn)練和優(yōu)化語(yǔ)言模型的觀點(diǎn).詞典在分詞系統(tǒng)中非常重要,它是分詞的基礎(chǔ).為得到一個(gè)既穩(wěn)定又動(dòng)態(tài)變化的詞典,在基于統(tǒng)計(jì)的分詞方法中,需要先對(duì)大量的語(yǔ)料文本進(jìn)行處

2、理來得到一個(gè)初始詞典.為克服計(jì)算機(jī)內(nèi)存和效率的限制,采取PAT樹來建立初始詞典.本文給出了PAT樹的形式化定義,研究了PAT樹的結(jié)構(gòu)、工作原理和改進(jìn)措施,并詳細(xì)探討了PAT樹的構(gòu)造算法.接著,本文深入研究了初始詞典的結(jié)構(gòu),給出了初始詞典內(nèi)部結(jié)構(gòu)的形式化定義,詳細(xì)地研究了初始詞典的建立過程,包括語(yǔ)料文本的處理和PAT樹的建立,探討了初始詞典的構(gòu)造算法并分析了初始詞典和PAT樹的性能.為了減小詞典的規(guī)模,提高分詞的效率和準(zhǔn)確性,需要對(duì)初始詞

3、典作進(jìn)一步的處理.本文詳細(xì)探討了初始詞典的處理機(jī)制,研究了詞典的組成,非常詳細(xì)地分析了初始詞典的處理,探討了詞典的收詞原則,詳細(xì)研究了詞典的處理過程.接著,本文應(yīng)用詞典對(duì)語(yǔ)料文本進(jìn)行分詞.確定了分詞的原則和步驟,主要分析了本系統(tǒng)在解決交集型歧義和未登陸詞問題的優(yōu)點(diǎn).由于語(yǔ)料文本的限制,需要不斷地進(jìn)行詞典和語(yǔ)言模型的優(yōu)化.本文對(duì)詞典和語(yǔ)言模型的迭代優(yōu)化進(jìn)行了研究,主要分析了如何對(duì)詞典和語(yǔ)言模型進(jìn)行迭代優(yōu)化以解決在分詞過程中出現(xiàn)的問題.然后