基于自然語言處理的作文自動(dòng)評(píng)分系統(tǒng)研究.pdf

1、作文自動(dòng)評(píng)分系統(tǒng)是應(yīng)用計(jì)算機(jī)技術(shù)對(duì)英文作文進(jìn)行評(píng)分的系統(tǒng)。作文自動(dòng)評(píng)分系統(tǒng)綜合應(yīng)用了統(tǒng)計(jì)學(xué)、自然語言處理、語言學(xué)及信息檢索等領(lǐng)域的技術(shù)。目前國外作文評(píng)分系統(tǒng)（如 E-rater）都得到了廣泛運(yùn)用。但是目前國內(nèi)學(xué)者對(duì)英語作文自動(dòng)評(píng)分系統(tǒng)的研究仍然處于初始階段。隨著在線教育的興起，學(xué)生對(duì)知識(shí)掌握程度的衡量也需要自動(dòng)化評(píng)測工具的幫助，因?yàn)閭鹘y(tǒng)的人工批改方式不再適用于擁有大量學(xué)生的在線教育。相比于人工評(píng)分，作文自動(dòng)評(píng)分系統(tǒng)的評(píng)分更加快速，更加公

2、正，更加經(jīng)濟(jì)。
　　本文首先基于EDX平臺(tái)的開源項(xiàng)目研發(fā)了基礎(chǔ)的作文評(píng)分系統(tǒng)。該系統(tǒng)將作文評(píng)分過程看作是文本分類過程，采用的分類器是梯度提升決策樹分類器。但這個(gè)評(píng)分系統(tǒng)并不完美，一方面系統(tǒng)特征不能充分反映作文特征，另一方面可擴(kuò)展性不好，為了添加新的作文題目，需要新的訓(xùn)練集和測試集來重新訓(xùn)練評(píng)分模型。國外優(yōu)秀的作文自動(dòng)評(píng)分系統(tǒng)綜合考慮了作文的語法表達(dá)、語義內(nèi)容和篇章結(jié)構(gòu)等評(píng)分因素。語法錯(cuò)誤數(shù)量是衡量語法表達(dá)好壞的重要標(biāo)準(zhǔn)，所以論文將

3、作文語法錯(cuò)誤檢測作為研究重點(diǎn)。
　　本文隨后研究了基于語言模型的語法檢測方法。在該系統(tǒng)中，用SRILM工具搭建語言模型服務(wù)器。語言模型服務(wù)器可以用來查詢N-gram詞組的概率。根據(jù)單詞詞干為單詞生成候選集，然后根據(jù)維特比算法求取最優(yōu)詞匯組合。若該詞匯組合與原始句子不同，則認(rèn)為檢測出語法錯(cuò)誤。但該方法也有缺陷，只能檢測出替換類型錯(cuò)誤，而無法檢測出插入型錯(cuò)誤和刪除型錯(cuò)誤。
　　本文還研究了冠詞和介詞錯(cuò)誤檢測，這兩種錯(cuò)誤是英語學(xué)習(xí)

4、者最常犯的語法錯(cuò)誤。模型訓(xùn)練集提取自大不列顛國家語料庫。因?yàn)樵撜Z料庫可以認(rèn)為是沒有語法錯(cuò)誤的，所以初始訓(xùn)練過程無任何錯(cuò)誤樣本。為了使訓(xùn)練樣本更接近英語學(xué)習(xí)者語言表達(dá)，本文在訓(xùn)練過程中添加了人工制造的錯(cuò)誤樣本，從而引入錯(cuò)誤語法信息，提高了分類器對(duì)錯(cuò)誤信息的敏感度。本文將語法錯(cuò)誤檢測過程視作分類任務(wù)，選取的分類器是對(duì)稀疏特征有著強(qiáng)大分類能力的最大熵分類器。從實(shí)驗(yàn)結(jié)果來看，冠詞和介詞錯(cuò)誤檢測系統(tǒng)性取得了與國外大學(xué)研究成果相當(dāng)?shù)慕Y(jié)果。論文最后展