基于Rasch模型的寫作測(cè)試評(píng)分員效應(yīng)研究——聚焦不同評(píng)分員背景群體的對(duì)比分析.pdf

1、寫作測(cè)試是語言應(yīng)用測(cè)試用于英語教學(xué)中最常見的測(cè)試之一，然而寫作測(cè)試評(píng)分的主觀性讓測(cè)試人員難以客觀準(zhǔn)確測(cè)量出學(xué)生的寫作能力(Cho2003;何蓮珍等2008)。寫作測(cè)試中，評(píng)分員、寫作任務(wù)、評(píng)分標(biāo)準(zhǔn)等其他因素往往會(huì)導(dǎo)致考生分?jǐn)?shù)的誤差變異，這些因素或獨(dú)立或交互的作用方式也增加了分?jǐn)?shù)誤差來源的復(fù)雜性。由于主觀評(píng)分是寫作測(cè)試中的重要環(huán)節(jié)，評(píng)分員在評(píng)分過程中所表現(xiàn)的差異就成為能夠顯著影響評(píng)分結(jié)果的重要因素之一。McNamara(1996)指出，圍

2、繞評(píng)分員的一起變量均產(chǎn)生交互，從而帶來誤差，因而對(duì)評(píng)分誤差的研究從評(píng)分員自身得以延伸到評(píng)分員與其他變量的交互。McNamara(1996)指出，評(píng)分員的背景與評(píng)分結(jié)果顯著相關(guān)。然而，對(duì)于評(píng)分員的背景所帶來的評(píng)分員效應(yīng)和偏差模式的研究很少，所得出的結(jié)論也不一致。
　　本研究運(yùn)用多面Rasch模型研究評(píng)分員在寫作評(píng)分中表現(xiàn)的評(píng)分員效應(yīng)，如寬嚴(yán)度、評(píng)分一致性等;同時(shí)從評(píng)分員背景出發(fā)，通過Rasch模型的偏差分析，研究不同性別和具有不同評(píng)

3、分經(jīng)驗(yàn)的評(píng)分員在評(píng)卷過程中針對(duì)不同考生、不同評(píng)分維度所表現(xiàn)出的偏頗模式，并通過訪談深入具體的對(duì)評(píng)分過程進(jìn)行定性分析，更進(jìn)一步探討評(píng)分員性別和評(píng)分經(jīng)驗(yàn)背景是否為產(chǎn)生評(píng)分系統(tǒng)誤差的根源。
　　本研究通過一次課堂寫作測(cè)驗(yàn)，經(jīng)批改網(wǎng)收集了137份英語作文（7份用于寫作評(píng)分培訓(xùn)，130份用于實(shí)際數(shù)據(jù)分析），并邀請(qǐng)7位評(píng)分員進(jìn)行評(píng)分。7位評(píng)分員在經(jīng)過統(tǒng)一的評(píng)分培訓(xùn)后，運(yùn)用同一個(gè)寫作評(píng)分分項(xiàng)量表對(duì)130篇作文進(jìn)行了評(píng)閱。該量表包含任務(wù)完成度、詞

4、匯、句法和銜接與連貫四個(gè)不同的維度。本研究將7位評(píng)分員根據(jù)其性別和評(píng)分經(jīng)驗(yàn)的不同分為不同評(píng)分組別，運(yùn)用Rasch模型對(duì)其評(píng)分結(jié)果進(jìn)行了深入細(xì)致的研究和分析，得出以下結(jié)論:
　　1)七位評(píng)分員在評(píng)分過程中表現(xiàn)出顯著嚴(yán)厲度差異，或多或少顯示出隨機(jī)效應(yīng);評(píng)分員均呈現(xiàn)出良好的評(píng)分員間信度，除一位評(píng)分員外，其他評(píng)分員均表現(xiàn)出良好的自身一致性;未表現(xiàn)出顯著的趨中效應(yīng);
　　2)不同性別評(píng)分員表現(xiàn)出評(píng)分差異。男性評(píng)分員相比女性評(píng)分員評(píng)分更

5、為寬松，呈現(xiàn)出更高的評(píng)分一致性，但更容易產(chǎn)生集中趨勢(shì);女性評(píng)分員評(píng)分更容易出現(xiàn)隨機(jī)效應(yīng)，也更容易產(chǎn)生評(píng)分偏頗;
　　3)不同性別評(píng)分員在與不同能力考生之間以及與不同評(píng)分維度之間產(chǎn)生不同的偏頗模式，但差異并不顯著，故性別因素不會(huì)引入系統(tǒng)性誤差。
　　4)不同評(píng)分經(jīng)驗(yàn)評(píng)分員表現(xiàn)出評(píng)分差異。中手及老手評(píng)分員相比新手評(píng)分員評(píng)分更為寬松，呈現(xiàn)出更高的評(píng)分一致性，但更容易產(chǎn)生集中趨勢(shì);新手評(píng)分員更容易出現(xiàn)隨機(jī)效應(yīng)，也更容易出現(xiàn)評(píng)分偏頗;

6、
　　5)不同評(píng)分經(jīng)驗(yàn)評(píng)分員在與不同能力考生之間以及與不同評(píng)分維度之間產(chǎn)生不同的偏頗模式，差異顯著，呈現(xiàn)出系統(tǒng)的評(píng)分偏頗模式，即老手評(píng)分員對(duì)考生產(chǎn)生更為寬松的偏頗模式，新手呈現(xiàn)更嚴(yán)厲的偏頗模式;老手評(píng)分員對(duì)句法等語法類維度呈現(xiàn)嚴(yán)厲偏頗模式，新手對(duì)任務(wù)完成等內(nèi)容相關(guān)維度呈現(xiàn)嚴(yán)厲偏頗模式。經(jīng)卡方檢驗(yàn)，差異顯著，故評(píng)分經(jīng)驗(yàn)會(huì)引入系統(tǒng)誤差;
　　根據(jù)評(píng)分員的具體評(píng)分表現(xiàn)，本研究對(duì)如何提高并改善評(píng)分信度和評(píng)分質(zhì)量提出具體、有效的建議;