基于互信息的統計語言模型平滑技術.pdf

1、自然語言處理是計算機科學中一個引人入勝、富有挑戰(zhàn)性的課題。它的任務是建立一種能夠模擬人類語言認知過程的計算模型。但是當前計算機的智能水平還遠遠不能與人類相提并論，困擾其發(fā)展的原因有很多，統計語言模型中數據稀疏的處理則是自然語言處理領域必須解決的幾個難題之一。本論文主要針對目前正得到廣泛推廣與應用的統計語言模型，研究了建立模型的各種方法以及相關的平滑技術，提出了能滿足概率歸一性的建立模型的方法以及結合互信息、熵和非線性優(yōu)化等理論的基于互信

2、息的統計語言模型平滑技術。論文的主要工作如下： 首先本文介紹了統計語言模型中常用的概率論和信息論方面的相關知識，然后介紹了現有的幾類統計語言模型的平滑技術，并分析了其平滑原理與實現方法。 其次，論文研究了統計語言模型的建立。在文中列舉了多種可以建立模型的方法，但由于在概率歸一性方面的問題使得這些方法不能滿足使用。因此，本文提出了一種在語料庫中的每段前后添加相同符號來做過渡的建立統計語言模型的方法，從而使得到的模型能夠滿足

3、概率的歸一性。 同時，本文還提出了一種新的基于互信息的統計語言模型平滑技術。該方法基于模型中元素的互信息值，對互信息值高的事件的概率值進行折扣，對互信息值低的事件的概率值進行補償，對模型中未出現事件的概率值的獲得則回退到低階模型。進一步，利用非線性系統理論來，依據極小化困惑度方法，確定平滑公式中的系數值，從理論上保證了此平滑技術的優(yōu)越性。 論文最后把本文提出的平滑技術與現有平滑技術進行了比較。通過實驗測試平滑后的模型在測