面向文本識別流的自動校對算法研究.pdf

1、隨著電子信息的飛速發(fā)展，各種中文輸入技術(shù)被應(yīng)用在電子信息的錄入過程中。但是各種輸入方法或者是由于用戶的關(guān)系，或者是程序本身算法的關(guān)系，都不能保證輸入信息100％的正確性。在知識信息化和出版電子化飛速發(fā)展的今天，文本手工校對不管是在時間上還是在人力成本上，都不能滿足人們的需要。文本識別流的自動校對成為了亟需解決的問題。中文文本自動校對的研究總的來說還處在剛剛起步的階段，從事這方面研究的人員還不是很多，公開發(fā)表的論文也比較少，已經(jīng)提出的技術(shù)

2、并沒有針對特定的文本識別流做專門的研究。所以說，本文的研究工作具有一定的現(xiàn)實意義和實際應(yīng)用價值。 現(xiàn)在的自動校對中的查錯主要采用三種方法: ①利用文本上下文的字、詞和詞性等局部語言特征；②利用轉(zhuǎn)移概率對相鄰詞間的接續(xù)關(guān)系進(jìn)行分析；③利用規(guī)則或語言學(xué)知識。糾錯方法主要有模式匹配，替換字表和似然匹配技術(shù)。本文在分析了文本識別流的特性的基礎(chǔ)上，設(shè)計了面向文本識別流的文本校對算法。算法主要包括以下幾個重要部分：提出了應(yīng)用于自動校對處理的

3、分詞和詞性標(biāo)注一體化算法；通過對各種信息錄入方式的錄入過程分析，得到錄入錯誤產(chǎn)生的原因與規(guī)律，并以此規(guī)律實現(xiàn)詞條的混淆集生成算法；主校對程序采用了概率分析的方法，基于2-gram模型，實現(xiàn)查錯和糾錯一體化的算法，最終將校對中糾錯建議的生成問題抽象成有向無回圖的最短路徑求取問題；對程序進(jìn)行了改進(jìn)和最優(yōu)化處理，通過對測試集的處理，確定最優(yōu)化的程序參數(shù)。在算法的實現(xiàn)上，本文采用了動態(tài)規(guī)劃算法，大大減少了算法的時空復(fù)雜度。在處理過程上，系統(tǒng)首先

4、對熟語料進(jìn)行訓(xùn)練操作，得到相關(guān)的統(tǒng)計信息；然后通過對測試語料集的處理，得到程序的最優(yōu)化參數(shù)；然后用算法處理待校對文本，得到該校對算法的查準(zhǔn)率、查全率，糾準(zhǔn)率及糾全率；最后對算法的結(jié)果進(jìn)行分析，提出改進(jìn)意見。 本文的主要創(chuàng)新點在于：①針對不同識別流類型，例如拼音輸入和五筆字形輸入，提出了混淆集生成的具體算法；②分析文本識別流中錯誤的特點，以此選擇制定合理有效的分詞和詞性標(biāo)注算法；③使用最優(yōu)化方法，確定程序中的參數(shù)，其中包括混淆集元