寫作評分中評分員因素的多側(cè)面Rasch模型分析.pdf

1、本篇論文采用基于現(xiàn)代項目反應理論（IRT）的多側(cè)面Rasch 模型來研究四種評分員因素：嚴厲度/寬松度、評分不穩(wěn)定、光環(huán)效應以及集中趨勢對評分的影響。本文從湖南大學美雅學院ESL國際項目的寫作試卷中隨機抽出30份試卷并由9位評分員進行評分。評分采用的量表為Jacob的7級分項評分量表，從“內(nèi)容”、“結(jié)構(gòu)”、“語言”、“詞匯”、以及“寫作規(guī)范”五個評分維度對考生的寫作水平進行考察。所得的數(shù)據(jù)由多側(cè)面Rasch模型的FACETS軟件包進行分

2、析。多側(cè)面Rasch 模型基于現(xiàn)代項目反應理論，以考生的心理特質(zhì)為依據(jù)進行建模，運用項目反應函數(shù)預測考生在考試中的表現(xiàn)，有別于經(jīng)典真分數(shù)理論框架下的對原始分進行觀測分析而得出結(jié)論的方法。研究首先用多側(cè)面Rasch模型對單個評分員的評分嚴厲度以及光環(huán)效應進行了分析，然后運用多側(cè)面Rasch模型的偏差分析來探討評分員在不同的寫作任務和不同的評分維度上的評分是否保持了穩(wěn)定性。最后通過假設(shè)各個評分員有獨立的評分量表，由此建立模型以分析評分員的集

3、中趨勢。 通過分析，本研究得出以下發(fā)現(xiàn)： 1）評分員的嚴厲度水平有著顯著性的差異。其中9號評分員的嚴厲度水平是最高的，而5號評分員的嚴厲度水平是最低的。 2）所有評分員在評閱不同的寫作任務時保持了內(nèi)在的一致性，但在評閱不同的評分維度時卻表現(xiàn)出了評分不一致的情況； 3）1號和2號評分員在評分時表現(xiàn)出顯著的光環(huán)效應，即他們傾向于在5個維度上給出相似的分數(shù)。其他的7位評分員都能較好的區(qū)分5個評分維度的差異。

4、 4）4號評分員和6號評分員沒有用評分量表的全距進行評分，1號評分員、4號評分員、以及6號評分員表現(xiàn)出明顯的集中趨勢。 基于以上研究，本文的研究對如何改善和提高寫作評分中的評分員信度有著重要的意義。首先可以改善評分量表，對評分量表有歧義或者欠詳細的部分進行修改；其次，由于本模型可以考察單個評分員的表現(xiàn)，因而它可以為評分員的選拔提供參考，再次，對于評分不準確的評分員，可以做進一步的培訓或者加以替換，最后，對于高風險的大規(guī)模測試