基于循環(huán)神經(jīng)網(wǎng)絡(luò)的蒙古文語言模型研究.pdf

1、語言模型是自然語言處理任務(wù)中的重要組成部分。其中，N-gram語言模型是目前應(yīng)用最為廣泛的統(tǒng)計語言模型。近年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)模型逐漸被應(yīng)用于語音識別中，它為研究者帶來新一輪的研究熱潮。神經(jīng)網(wǎng)絡(luò)語言模型是其中比較重要的研究方向之一。
　　蒙古文語言模型對于蒙古語語音識別、蒙古文信息檢索和蒙古文機器翻譯等蒙古文信息處理技術(shù)的研究起著至關(guān)重要的作用?，F(xiàn)階段，神經(jīng)網(wǎng)絡(luò)語言模型已被廣泛應(yīng)用于英文和漢文中，但是神經(jīng)

2、網(wǎng)絡(luò)語言模型在蒙古文中的使用還比較少。本文主要針對蒙古文神經(jīng)網(wǎng)絡(luò)語言模型進行研究。
　　蒙古文是一種在國際上有廣泛影響的語言文字。然而，在蒙古文文本語料中，存在大量的顯現(xiàn)形式相同但編碼不同的單詞，這給蒙古文單詞的統(tǒng)計和檢索等帶來了很大困難。
　　本文著重解決顯現(xiàn)形式相同但編碼不同蒙古文單詞的統(tǒng)計和檢索問題，從而提高蒙古文語言模型的性能。首先，提出了采用中間字符對蒙古文顯現(xiàn)形式相同但編碼不同的字母進行合并表示的方法;接著，分別

3、建立了基于拉丁字符的N-gram語言模型與基于中間字符的N-gram語言模型，以及基于拉丁字符的快速循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型(Faster Recurrent Neural Network Language Model，F(xiàn)RNNLM)與基于中間字符的FRNNLM;然后，實現(xiàn)了N-gram語言模型和FRNNLM融合的方法，得到了性能更好的語言模型;最后，用困惑度評價了蒙古文語言模型的性能，并將其應(yīng)用到蒙古語語音識別中進行詞錯誤率(Word E

4、rror Rate，WER)的比較。實驗結(jié)果表明，基于中間字符的蒙古文文本語料的詞匯量比基于拉丁字符的語料平均減少了41％;基于中間字符的語言模型（3-gram、FRNNLM）比相應(yīng)基于拉丁字符的語言模型在困惑度方面下降了近40％，提高了蒙古文語言模型的性能。并且在蒙古語語音識別中，基于中間字符的語言模型（3-gram、FRNNLM、3-gram+FRNNLM）比相應(yīng)基于拉丁字符的語言模型在WER方面下降了近20％;3-gram+FRN