中文文本自動查錯研究.pdf

1、科學(xué)及技術(shù)的發(fā)展使得人類已經(jīng)步入了信息化的時代,人們也越來越強烈地希望用自然語言同計算機交流,自然語言的處理已經(jīng)成為阻礙信息化發(fā)展的首要瓶頸問題。中文文本自動校對在自然語言處理領(lǐng)域中處于應(yīng)用技術(shù)研究這一層次,在電子出版業(yè)、文本編輯、機器翻譯、語言學(xué)習(xí)、文本識別、語音輸入等領(lǐng)域有著非常廣泛的應(yīng)用。
　　 中文自動校對包含自動查錯和自動糾錯兩個環(huán)節(jié)。由于糾錯是在查錯的基礎(chǔ)上進(jìn)行的下一步操作,因此,中文文本的自動查錯方法研究更加緊迫。

2、本文在對目前國內(nèi)的自動查錯技術(shù)進(jìn)行深入研究和分析的基礎(chǔ)上,提出了對字詞級錯誤進(jìn)行檢查的一種混合方法,并且在技術(shù)實現(xiàn)上進(jìn)行了有益的嘗試。具體地說,本文主要的研究內(nèi)容有以下幾點:
　　 基于對待處理文本采用字詞級查錯處理就能偵測出絕大多數(shù)錯誤這一事實,在早期查錯方法的基礎(chǔ)上,提出了一種統(tǒng)計和模式匹配相結(jié)合的方法。在大規(guī)?，F(xiàn)代漢語語料庫以及易混淆詞詞典的支持下,利用字詞和詞性的二元接續(xù)關(guān)系以及模式匹配的方法對文本進(jìn)行檢查。本文并非將基

3、于詞和詞性二元接續(xù)關(guān)系的方法和模式匹配的查錯方法進(jìn)行簡單的串聯(lián),而是采取了一定的策略,試圖提高查錯的性能。同時該方法將查錯與糾錯結(jié)合在一起,在查錯的同時便可實現(xiàn)糾錯功能。
　　 研究了文本自動查錯前的預(yù)處理工作,包括查錯知識庫和糾錯知識庫的建立與更新維護(hù),以及對文本進(jìn)行分詞和詞性標(biāo)注等。最后引入基于層疊隱馬爾科夫模型的漢語詞法分析系統(tǒng)ICTCLAS,利用其提供的接口實現(xiàn)中文分詞和詞性標(biāo)注。
　　 對于中文文本糾錯部分,通