自然語言處理KN模型在機器翻譯優(yōu)化中的應用.pdf

1、21世紀是互聯(lián)網(wǎng)十分發(fā)達的新時代，電腦和網(wǎng)絡在人們日常生活、學習和工作中發(fā)揮的作用越來越強大。人與人之間的語言交流有時也會通過電腦和互聯(lián)網(wǎng)的形式表現(xiàn)出來。因此，人們對于電腦模擬人腦進行語言學習的渴望也與未來越強烈。人們希望電腦能夠同人一樣對語言和文字進行處理、判斷和預測，因此關于自然語言模型的研究就逐步發(fā)展了起來。
　　在諸多語言模型中KN平滑模型不僅考慮到了歷史對于語言概率估計的影響，也應用了插值技術，同時通過全面定義的折扣函數(shù)

2、，解決了統(tǒng)計語言模型中常見的數(shù)據(jù)稀疏問題，更精確的估計了句子或是文章的概率，在實際生活中有很廣泛的應用。本文就應用了經(jīng)典的修正后的KN模型進行了兩個實驗。一個針對英語，進行了機器翻譯的優(yōu)化和篩選；另一個針對德語，探尋了語言模型更廣泛的應用。
　　本文首先介紹了機器翻譯的相關概念，簡單闡述了機器翻譯的幾種方法。然后又提出了自然語言模型，為解決基于統(tǒng)計的語言模型中出現(xiàn)的數(shù)據(jù)稀疏問題，本文列舉了幾種平滑模型，其中以Kneser-Ney模

3、型為主。在本文的實驗部分，英語的訓練和測試語料庫來源于聯(lián)合國的會議記錄并由作者根據(jù)實驗需要進行了修改和完善，其中包含例如對一句話的四到五種翻譯。作為翻譯標準的句子來源于聯(lián)合國會議記錄英文版，其他各翻譯版本來源于互聯(lián)網(wǎng)上廣泛存在的翻譯網(wǎng)站，即機器翻譯。除此之外，還包含了一些人工翻譯。通過設計程序，使用KN模型，對各翻譯結果智能排序，選擇最佳版本，即最符合訓練語料庫語境的版本，通過比較驗證了KN模型的可行性。德語部分的實驗流程與英語大致相同