大規(guī)模網(wǎng)上作文評(píng)分的信度研究—CEPT寫(xiě)作評(píng)分一致性檢測(cè).pdf

1、評(píng)分不一致是影響評(píng)分信度的主要因素。本文通過(guò)評(píng)分一致性檢測(cè)來(lái)研究大規(guī)模網(wǎng)上作文評(píng)分的信度。以湖南大學(xué)英語(yǔ)分級(jí)考試作文測(cè)試為研究對(duì)象，采用IRT多側(cè)面Rasch模型，通過(guò)分析評(píng)分員內(nèi)部一致性及評(píng)分員之間的一致性來(lái)研究評(píng)分的信度。 本研究從2007年9月湖南大學(xué)英語(yǔ)分級(jí)考試作文測(cè)試中隨機(jī)抽出540份考卷，涵蓋4個(gè)寫(xiě)作任務(wù)，并由9位評(píng)分員對(duì)試卷進(jìn)行了第二次評(píng)分，評(píng)分采用了“二讀法”。所得的數(shù)據(jù)利用FACETS軟件進(jìn)行分析。研究采用的模

2、型(即Partial CreditModel)假定每個(gè)評(píng)分員有獨(dú)立的評(píng)分量表，這種模型可以用來(lái)考查評(píng)分員對(duì)評(píng)分標(biāo)準(zhǔn)的理解和使用是否存在顯著差異。本文首先運(yùn)用FACETS主層面分析檢查單個(gè)評(píng)分員的評(píng)分嚴(yán)厲度及評(píng)分員對(duì)評(píng)分標(biāo)準(zhǔn)的把握是否保持一致，然后運(yùn)用偏差分析探討單個(gè)評(píng)分員在不同的寫(xiě)作任務(wù)上是否具有評(píng)分一致性。通過(guò)分析，本研究得出以下結(jié)論：第一，評(píng)分員的嚴(yán)厲度水平存在顯著性差異；第二，評(píng)分員內(nèi)部一致性較好，但評(píng)分員之間的一致性較差；第三，

3、所有評(píng)分員在評(píng)閱不同的寫(xiě)作任務(wù)時(shí)保持了內(nèi)部一致性，無(wú)顯著偏差，但總體嚴(yán)厲度不高；第四，部分考生的分?jǐn)?shù)經(jīng)FACETS分析后得出的平均分與原始分存在差異。 本研究對(duì)如何提高寫(xiě)作評(píng)分的一致性提出以下建議：1.根據(jù)數(shù)據(jù)分析對(duì)評(píng)分量表解釋有歧義或不準(zhǔn)確的地方進(jìn)行修改。2.評(píng)分一致性不高的評(píng)分員進(jìn)行再培訓(xùn)，指出并糾正其缺點(diǎn)。3.由于大規(guī)模考試對(duì)考生具有很高的利益攸關(guān)性(high-stakes)，建議對(duì)考生分?jǐn)?shù)進(jìn)行FACETS分析以調(diào)整其差異