漢語(yǔ)中介語(yǔ)文本詞語(yǔ)級(jí)錯(cuò)誤的自動(dòng)查錯(cuò)研究及其實(shí)現(xiàn)——AECIT.pdf

1、隨著現(xiàn)代出版事業(yè)的不斷擴(kuò)大，人工校對(duì)的工作量日益增大，產(chǎn)生了機(jī)器自動(dòng)校對(duì)的需求。自動(dòng)校對(duì)是自然語(yǔ)言處理的一個(gè)重要的研究領(lǐng)域，它的目的主要是在出版行業(yè)中減輕校對(duì)人員的工作量。中文文本自動(dòng)校對(duì)較英文文本自動(dòng)校對(duì)而言有許多先天性的困難，如分詞、詞性標(biāo)記等。 中介語(yǔ)文本由于它的特殊性，無(wú)論是從錯(cuò)誤產(chǎn)生原因還是錯(cuò)誤表現(xiàn)形式都呈現(xiàn)出較普通文本未有的復(fù)雜。現(xiàn)有的自動(dòng)校對(duì)系統(tǒng)是面向普通的中文文本，它處理的是母語(yǔ)為漢語(yǔ)的人士所寫(xiě)成的中文文本，它們

2、所使用的訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料是同質(zhì)的。本文研究的對(duì)象是母語(yǔ)為非漢語(yǔ)的人士寫(xiě)成的中文中介語(yǔ)文本。二者相比較而言，后者較前者在研究、處理上多了很多困難，如：訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料不同質(zhì)，錯(cuò)誤種類繁多，難以進(jìn)行分類等。本文使用了新疆大學(xué)預(yù)科部少數(shù)民族中介語(yǔ)語(yǔ)料庫(kù)，隨機(jī)抽取了2063個(gè)存在錯(cuò)誤的句子，以查找句子中的錯(cuò)誤點(diǎn)為目標(biāo)，構(gòu)造了漢語(yǔ)中介語(yǔ)自動(dòng)查錯(cuò)系統(tǒng)AECIT，采用窗口移動(dòng)的方式，一次讀取一個(gè)三元詞串，以二元詞的互信息為基本統(tǒng)計(jì)手段，結(jié)合詞性和