大規(guī)模網(wǎng)上作文評分的信度研究—CEPT寫作評分一致性檢測.pdf

1、評分不一致是影響評分信度的主要因素。本文通過評分一致性檢測來研究大規(guī)模網(wǎng)上作文評分的信度。以湖南大學(xué)英語分級考試作文測試為研究對象，采用IRT多側(cè)面Rasch模型，通過分析評分員內(nèi)部一致性及評分員之間的一致性來研究評分的信度。 本研究從2007年9月湖南大學(xué)英語分級考試作文測試中隨機抽出540份考卷，涵蓋4個寫作任務(wù)，并由9位評分員對試卷進行了第二次評分，評分采用了“二讀法”。所得的數(shù)據(jù)利用FACETS軟件進行分析。研究采用的模

2、型(即Partial CreditModel)假定每個評分員有獨立的評分量表，這種模型可以用來考查評分員對評分標(biāo)準(zhǔn)的理解和使用是否存在顯著差異。本文首先運用FACETS主層面分析檢查單個評分員的評分嚴厲度及評分員對評分標(biāo)準(zhǔn)的把握是否保持一致，然后運用偏差分析探討單個評分員在不同的寫作任務(wù)上是否具有評分一致性。通過分析，本研究得出以下結(jié)論：第一，評分員的嚴厲度水平存在顯著性差異；第二，評分員內(nèi)部一致性較好，但評分員之間的一致性較差；第三，

3、所有評分員在評閱不同的寫作任務(wù)時保持了內(nèi)部一致性，無顯著偏差，但總體嚴厲度不高；第四，部分考生的分數(shù)經(jīng)FACETS分析后得出的平均分與原始分存在差異。 本研究對如何提高寫作評分的一致性提出以下建議：1.根據(jù)數(shù)據(jù)分析對評分量表解釋有歧義或不準(zhǔn)確的地方進行修改。2.評分一致性不高的評分員進行再培訓(xùn)，指出并糾正其缺點。3.由于大規(guī)?？荚噷忌哂泻芨叩睦尕P(guān)性(high-stakes)，建議對考生分數(shù)進行FACETS分析以調(diào)整其差異