中文文本自動校對系統(tǒng)設計與實現(xiàn).pdf

1、互聯(lián)網數(shù)據(jù)快速增長給人們生活帶來了豐富的信息，但同時也造成了互聯(lián)網信息質量的下降。新聞出版及廣播電視等行業(yè)對文本質量有較高的要求，而這些行業(yè)的審校工作目前仍以人工審校為主。以中文文本為例，在中文詞語、漢語拼音、數(shù)字號碼、標點符號等方面均存在或多或少的問題。隨著因特網上中文文本的快速增長，相關錯誤在不斷累積，這極大降低了文本的利用價值，同時加重了人工審校的負擔。此外，中文載體的多樣性也使得人工審校愈發(fā)力不從心。然而現(xiàn)有的很多文本審校軟件都

2、很難處理不同形式、不同格式、不同載體的審校問題，因此，針對中文文本研發(fā)自動審校的方法與系統(tǒng)具有重要的實際意義。
　　基于以上背景，本文針對中文文本常見的錯誤構建了一個自動校對系統(tǒng)，并從以下幾個方面展開了工作:
　　1.對中文文本自動校對系統(tǒng)進行系統(tǒng)需求分析，詳細分析系統(tǒng)的用戶需求，業(yè)務需求以及功能需求。并采用MVC框架對審校系統(tǒng)進行設計，具體分析并設計了每一層所包含的功能，同時分析和設計了審校服務的具體功能，具體包括詞語審校

3、、標點符號審校、數(shù)字審校和拼音審校。
　　2.深入研究了詞語審校、標點符號審校、數(shù)字審校以及拼音審校的實現(xiàn)方法，采用條件隨機場(Conditional Random Fields，CRF)結合分詞的技術識別文本中的實體，并采用實體鏈接的技術來實現(xiàn)詞語審校中的實體名稱審校，而詞語審校中的常用詞語審校和敏感詞審校則采用構建字典樹的方式來實現(xiàn);針對標點符號和數(shù)字審校主要采用的是構建規(guī)則庫來實現(xiàn);對于拼音審校，本文先利用拼音獲取工具包獲取

4、帶有標注拼音詞語的正確拼音，然后再與原文中的標注拼音進行比較，若二者不同則對原文中的標注拼音進行校對。
　　3.實現(xiàn)B/S模式的中文文本自動校對系統(tǒng)。本文采用的Spring MVC框架來實現(xiàn)該系統(tǒng)的Web框架，包括Spring MVC框架的配置，前臺JSP的編寫以及控制器程序的編寫等。
　　本文所構建的中文文本自動校對系統(tǒng)可以校對出詞語、標點符號、數(shù)字和拼音等中文文本中常見的錯誤。而且本文所構建的系統(tǒng)支持在線和離線兩種校對模