基于語料特性的未知漢字識別.pdf

1、替換解碼的方法已被前人廣泛地應用于自然語言處理的工作中。其在機器自動翻譯、未知語言識別等方面已有不俗的表現(xiàn)。這些有所成就的工作所基于的語料大多是字母語言，而對于如漢語這類非字母語言的應用卻罕有涉及。本文旨在探討替換解碼方式應用于識別非字母語言未知字符（如：語素語言）的可能，并據(jù)未知語言大多平行語料非常稀缺的實際情況出發(fā)，嘗試基于非平行語料對未識別語言進行識別。
　　基于此目的，本文所描述的實驗設計前提是訓練集為已識別文字組成的可識

2、別文本，測試集為一部分字符未識別的文本（其中部分字符可識別，部分字符為未知字符），兩者屬于同一文字，使用的漢語語料逾二十萬字。在實驗中，我們首先引入基于語言模型的解碼方法，然后為解決可能替換的組合爆炸而加入了集束搜索算法，來增強可計算性。之后為提升識別率我們又加入了字分布表示。此外，為了改善識別效果，實驗中加入部分字形信息匹配值作為修正參數(shù)。
　　本文所討論的方法主要可應用于古代漢語（如：甲骨文）文本中部分未知字符的語義識別的工作

3、。人工解讀文本中的未知字符是非常困難的，需要大量擁有語言學相關知識與經(jīng)驗的專家學者，而且也非常耗時耗力。若沒有相關的平行語料出現(xiàn)，常常需要數(shù)十年的工作積累。通過本文提供的方法，可將未知字符的候選集大小從原來的未知語言字符集全集縮小為數(shù)十個乃至幾個候選字符。這將極大的減少人工處理的代價。進一步來說，由于該方法充分考慮了上下文之間的關系，使得找到在該上下文中意義相近的字符的可能增大，這時即使未能找到完全匹配的字符亦可提升理解全文的可能。數(shù)據(jù)