漢語非詞錯誤自動校對系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、漢語文本自動校對的研究一直以來都是自然語言處理領(lǐng)域的難點(diǎn)。隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，電子文本數(shù)量越來越大，文本錯誤越來越多，其中非詞錯誤是一種常見的錯誤。目前，傳統(tǒng)的漢語自動校對研究大多圍繞自動查錯開展，在糾錯方面的研究相對較少。
　　針對以上問題，本文首先界定漢語錯誤的類型分為“非詞錯誤”和“真詞錯誤”，然后利用統(tǒng)計的方法獲取Web語料中的錯字詞，構(gòu)建錯字詞知識，獲取的錯字詞知識用于非詞錯誤的自動校對方法。具體研究內(nèi)容包含以下幾

2、個方面：
　　(1)漢語錯別字分析
　　本文首先對漢語文本中錯別字的原因進(jìn)行了分析，然后根據(jù)漢字的錯誤原因和錯誤詞串的性質(zhì)對非詞錯誤進(jìn)行了分類。最后對Web新聞?wù)Z料中的漢語錯誤進(jìn)行了統(tǒng)計與分析。
　　(2)錯字詞知識庫自動構(gòu)建方法
　　實(shí)現(xiàn)文本中的非詞錯誤的自動校對，需要大量的知識與資源，其中錯字詞知識就是一種非常重要的知識。本文提出兩種錯字詞自動構(gòu)建方法，一種是基于模糊匹配與統(tǒng)計相結(jié)合的錯字詞知識自動構(gòu)建方法，

3、該方法以N-gram模型和模糊匹配為基礎(chǔ)，通過上下文統(tǒng)計信息進(jìn)行驗(yàn)證，從而得到錯字詞知識；另一種是基于漢字混淆集的錯字詞知識自動構(gòu)建方法，該方法利用漢字混淆集替換待匹配詞中的漢字生成混淆詞串，再利用統(tǒng)計知識驗(yàn)證每個混淆詞，從而得到錯字詞知識。
　　(3)基于模糊分詞的非詞錯誤自動校對方法
　　本文利用生成的錯字詞知識與正確詞詞典相結(jié)合，對目標(biāo)語句進(jìn)行模糊切分形成詞圖，最后利用最短路徑求解方法求得詞圖中的最優(yōu)路徑，從而實(shí)現(xiàn)非詞