基于n-gram模型的中文分詞技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的廣泛應(yīng)用，語料庫知識的不斷擴大，人們希望能從這些語料中進一步挖掘出更多有用的信息，其方法通常是建立一個面向各自應(yīng)用領(lǐng)域的語言模型。與傳統(tǒng)的基于規(guī)則的確定性語言模型不同，統(tǒng)計語言模型(SLM)建立在概率統(tǒng)計和信息論的基礎(chǔ)上，通過對大量語料進行統(tǒng)計以揭示出語言內(nèi)部特有的規(guī)律<'[2]>。分析統(tǒng)計語言模型的性能以及如何將它應(yīng)用于各種應(yīng)用系統(tǒng)是當(dāng)今自然語占處理領(lǐng)域的熱點之一。 最早應(yīng)用于語音識別系統(tǒng)的n-gram統(tǒng)計語言模型

2、，已經(jīng)廣泛地出現(xiàn)在多種自然語言處理系統(tǒng)中。然而，這些系統(tǒng)處理中文信息時，都會面臨一個常見的分詞問題。傳統(tǒng)的做法是在現(xiàn)有詞典的基礎(chǔ)上，定義一個確定性語言模型(DLM)，依據(jù)各種語法規(guī)則實現(xiàn)機械分詞。這種方法往往受到詞典的規(guī)模、應(yīng)用領(lǐng)域的限制以及切分規(guī)則過多等問題，而隨著人們對開放式系統(tǒng)的要求越來越高，基于規(guī)則系統(tǒng)的局限性問題顯得十分突出。 基于這種思路，本文旨在將分詞問題納入到統(tǒng)計語言模型的研究領(lǐng)域，分析語言模型的性能和分詞效果之

3、間的關(guān)系，尋找提高分詞效果、優(yōu)化語言模型的各種策略以及擴展語言模型規(guī)模的途徑。本文主要討論了n-gram統(tǒng)計語言模型的相關(guān)知識及構(gòu)建方法；在基于互信息的邊界探測算法(Boundary Detection)<'[1]>的基礎(chǔ)上，提出了基于n-gram模型的n-boundar)，分詞算法，并分析了兩個算法的特點；然后利用EM的思想，通過這種算法訓(xùn)練更多的生語料以達到擴展模型規(guī)模和提高模型性能的目的；最后通過幾組實驗數(shù)據(jù)比較，驗證了這種分詞算