維吾爾語統(tǒng)計(jì)語言模型中建模基元的研究.pdf

1、語言模型是描述自然語言內(nèi)在規(guī)律的數(shù)學(xué)模型，在自然語言處理過程中占據(jù)著重要的地位，但目前維吾爾語語言模型的研究尚處于起步探索階段，因此構(gòu)建一個(gè)可靠的語言模型對(duì)于維吾爾語自然語言處理系統(tǒng)很關(guān)鍵。維吾爾語語言模型是維吾爾語自然語言處理技術(shù)的重要基石，它可以應(yīng)用于語音識(shí)別、機(jī)器翻譯、信息檢索等領(lǐng)域，它的研究對(duì)促進(jìn)新疆地區(qū)的少數(shù)民族語言自然語言處理技術(shù)的發(fā)展具有重要的意義。
　　本文針對(duì)當(dāng)前維吾爾語語言模型存在的語料庫資源匱乏問題、數(shù)據(jù)稀疏

2、問題以及困惑度較高等問題，試圖找出使困惑度最低的平滑算法和建模單元（基元）建立語言模型。具體研究工作如下所示：
　　為解決數(shù)據(jù)稀疏問題，研究了多種平滑算法，包括加法平滑算法、Good-Turing平滑、Witten-Bell平滑、Katz平滑、絕對(duì)折扣平滑、Kneser-Ney平滑。實(shí)驗(yàn)結(jié)果表明絕對(duì)折扣平滑算法的困惑度最低。
　　本文將基于電話信道的維吾爾口語對(duì)話的文本、雙語教學(xué)系統(tǒng)中的課本教材以及一些日常用語作為實(shí)驗(yàn)數(shù)據(jù)，

3、然后對(duì)這些實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理和加工處理，并將處理后的數(shù)據(jù)作為本實(shí)驗(yàn)中建立維吾爾語語言模型的文本語料。預(yù)處理后對(duì)維吾爾語文本語料進(jìn)行分詞，這里采用兩種分詞方法：一種是基于詞典的維吾爾語詞切分，一種是非監(jiān)督式形態(tài)切分。
　　在基于維吾爾語分詞的基礎(chǔ)上，對(duì)傳統(tǒng)的N-gram統(tǒng)計(jì)語言模型做出改進(jìn)。將維吾爾語單詞切分成不同單元，以它們作為基元（模型粒度）建立了3種維吾爾語語言模型，并提出基于詞素類的N-gram語言模型。本文利用SRILM1