群體水平的英語閱讀問題解決能力評(píng)估及認(rèn)知診斷.pdf

1、群體水平的評(píng)估有兩種思路：一種是先進(jìn)行個(gè)體水平的評(píng)估，然后再對(duì)個(gè)體以求平均或類似的方法間接達(dá)到對(duì)群體水平的評(píng)估。該思路要求群體內(nèi)的個(gè)體完成測(cè)驗(yàn)/問卷中的所有題目，以首先實(shí)現(xiàn)對(duì)個(gè)體的評(píng)估；另一種思路是不對(duì)個(gè)體評(píng)估，而是直接實(shí)現(xiàn)對(duì)群體的評(píng)估。該思路下群體內(nèi)的每個(gè)個(gè)體只需隨機(jī)作答測(cè)驗(yàn)/問卷中的一道（或少許）題目，從而根據(jù)群體在每道題上的作答人數(shù)及答對(duì)人數(shù)實(shí)現(xiàn)對(duì)群體的評(píng)估。以上兩種思路各有優(yōu)劣：第一種思路可以同時(shí)實(shí)現(xiàn)對(duì)個(gè)體及群體的評(píng)估；第二種思

2、路只能實(shí)現(xiàn)對(duì)群體評(píng)估，但它具有第一種思路難以企及的優(yōu)點(diǎn)，如：減少被試作答的項(xiàng)目數(shù)，節(jié)省被試作答的時(shí)間，提高被試參與調(diào)查的配合度，節(jié)約人力、物力；避開對(duì)個(gè)體的評(píng)估，避免因中間環(huán)節(jié)的某個(gè)失誤，從而造成群體評(píng)估失誤的事件發(fā)生，提高群體評(píng)估的效率及效度。
　　 目前關(guān)于英語閱讀問題解決(English reading problem solving，簡(jiǎn)記ERPS)的群體水平的評(píng)估研究很少，研究工作主要在國(guó)外，且都在第一種思路下進(jìn)行，但他

3、們關(guān)于ERPS的認(rèn)知分析研究可能并不適合我國(guó)國(guó)情。因此本文的主要目的是：一方面結(jié)合我國(guó)實(shí)際，開展群體水平的ERPS能力評(píng)估及認(rèn)知診斷，為促進(jìn)學(xué)生相關(guān)認(rèn)知發(fā)展和知識(shí)獲取提供服務(wù)；另一方面，在第二種思路下開發(fā)出新的群體水平認(rèn)知診斷模型，為群體水平的評(píng)估及診斷提供一種更為優(yōu)越的全新方法，以實(shí)現(xiàn)方法學(xué)上的突破。本文主要由四個(gè)研究組成，研究結(jié)果如下：
　　 第一個(gè)研究為ERPS的認(rèn)知分析。該研究從心理學(xué)角度探討影響ERPS的關(guān)鍵認(rèn)知因素/

4、認(rèn)知成分，以Embretson＆Wetzel的文本表征一反應(yīng)決策加工模型為理論基礎(chǔ)，分別從‘文本表征(text representation)'和‘反應(yīng)決策(responsedecision)'兩個(gè)認(rèn)知加工過程來尋找影響ERPS的項(xiàng)目認(rèn)知特征成分，結(jié)合課程專家的分析、我國(guó)英語課程標(biāo)準(zhǔn)和測(cè)試要求共得到10個(gè)認(rèn)知屬性。最后通過對(duì)2007年某省英語高考試卷閱讀理解部分的項(xiàng)目分析，得到7個(gè)認(rèn)知屬性，其中4個(gè)屬性與‘文本表征'有關(guān)，2個(gè)屬性與‘反

5、應(yīng)決策'有關(guān)，另有1個(gè)屬性與‘文本表征'和‘反應(yīng)決策'均有關(guān)，研究發(fā)現(xiàn)它們能解釋難度變異的79.2％，表明它們是影響ERPS的主要認(rèn)知成分，同時(shí)證實(shí)它們之間的關(guān)系是無結(jié)構(gòu)型的。
　　 第二個(gè)研究為傳統(tǒng)方法下群體水平的ERPS能力評(píng)估及認(rèn)知診斷。該研究在IRT框架下，采用屬性階層模型，先對(duì)個(gè)體進(jìn)行能力評(píng)估和認(rèn)知診斷，計(jì)算群體內(nèi)個(gè)體能力的平均值和群體內(nèi)個(gè)體對(duì)屬性的掌握比例(AMR)，并將它們分別作為群體能力評(píng)估和認(rèn)知診斷的結(jié)果。研究

6、結(jié)果表明學(xué)校能力總體適中，沒有發(fā)現(xiàn)能力極端的學(xué)校，除屬性A5外，學(xué)校對(duì)其它屬性的掌握程度都較好，但仍需要加強(qiáng)對(duì)屬性A5即推理能力的教學(xué)與培養(yǎng)。將學(xué)校分為三類分析發(fā)現(xiàn)：、省重點(diǎn)建設(shè)中學(xué)與普通中學(xué)之間差異不顯著，但這兩類學(xué)校與省重點(diǎn)中學(xué)之間差異顯著。若以學(xué)校當(dāng)年英語高考的總平均分?jǐn)?shù)作為效標(biāo)，計(jì)算傳統(tǒng)方法下群體水平評(píng)估和診斷結(jié)果與這一效標(biāo)的相關(guān)系數(shù)分別為0.998(P<0.001)和0.836(P<0.001)，表明傳統(tǒng)方法下群體評(píng)估結(jié)果具有

7、較高的效標(biāo)關(guān)聯(lián)效度。
　　 第三個(gè)研究為群體水平評(píng)估新模型的開發(fā)。該研究結(jié)合2GPLM、RSM和AHM模型開發(fā)出了群體水平認(rèn)知診斷模型---CY_GCDM模型。該模型不僅可以報(bào)告出群體的能力和認(rèn)知狀態(tài)，還能報(bào)告群體對(duì)屬性的掌握概率，該概率與群體對(duì)屬性的掌握比例在本質(zhì)上是一致的；同時(shí)研究中還提出了四種新的群體水平認(rèn)知診斷的判別分類方法(分別記為BUG(A)，BUG(B)，DB(A)，DB(B))。蒙特卡羅模擬研究發(fā)現(xiàn)：CY_GCD

8、M模型是可行的，合理的，可解釋的。模型中提出的四種新方法都要比貝葉斯判別法好，且這四種新方法都具有較高的診斷精度，它們各有優(yōu)缺點(diǎn)。具體地講，距離-相似度判別法中的方法A(DB(A))的判別準(zhǔn)確率最不穩(wěn)定，而距離一相似度判別法中的方法B(DB(B)).相似判別法(BUG(A)，BUG(B））相對(duì)比較穩(wěn)定，且判別準(zhǔn)確率也較好。從模式判準(zhǔn)率來講，當(dāng)數(shù)據(jù)中允許存在的失誤概率為0.05時(shí)，DB(B)方法最優(yōu)，而當(dāng)失誤概率為0.1或0.15時(shí)，BU

9、G(B)方法則最優(yōu)。將各判準(zhǔn)率指標(biāo)按權(quán)重進(jìn)行綜合發(fā)現(xiàn)：當(dāng)失誤概率為0.05時(shí)，則DB(B)方法最好，而當(dāng)失誤概率為0.1或0.15時(shí)，則BUG(A)方法最好；但總體上講BUG(A)和DB(B)方法是最好的。
　　 第四個(gè)研究為新方法下群體水平的ERPS能力評(píng)估及認(rèn)知診斷。該研究在CY-GCDM模型下，采用BUG(A)判別分類方法，實(shí)現(xiàn)了ERPS群體水平的能力評(píng)估及認(rèn)知診斷，并將結(jié)果與傳統(tǒng)方法下的結(jié)果相比較。研究發(fā)現(xiàn)：新方法與傳統(tǒng)

10、方法對(duì)群體的評(píng)估結(jié)果相似，且兩方法對(duì)群體能力評(píng)估結(jié)果的相關(guān)高達(dá)0.957，絕對(duì)離差的平均值為0.2318;傳統(tǒng)方法下得到的屬性掌握比例與新方法下得到的屬性掌握概率的平均相關(guān)也有0.6939，達(dá)到了顯著水平，它們之間的絕對(duì)離差的平均值為0.157。這些都證明：在實(shí)際應(yīng)用中，新方法可以得到與傳統(tǒng)方法相一致的群體評(píng)估結(jié)果，新方法是可行的、可靠的。不僅如此，新方法中報(bào)告的群體認(rèn)知狀態(tài)結(jié)果與個(gè)體診斷的認(rèn)知狀態(tài)結(jié)果具有較強(qiáng)的一致性。
　　

11、上述研究結(jié)果顯示：將影響ERPS的主要認(rèn)知成分歸結(jié)為本文所確定的7個(gè)，認(rèn)知屬性不僅是理論可行的，也是統(tǒng)計(jì)可行的；在認(rèn)知分析的基礎(chǔ)上，兩種評(píng)估思路都實(shí)現(xiàn)了群體水平的能力評(píng)估及認(rèn)知診斷，它們的評(píng)估結(jié)果相似，即測(cè)驗(yàn)項(xiàng)目都具有較好的項(xiàng)目參數(shù)，所有測(cè)試學(xué)校的能力總體適中，它們對(duì)測(cè)驗(yàn)所測(cè)量的屬性掌握程度都較好；兩種群體評(píng)估思路都是可行的，有效的，且在第二種思路下，CY G-CDM模型的認(rèn)知診斷精度較高；GIRT模型的參數(shù)估計(jì)精度與IRT模型一致。<

12、br>　　 當(dāng)只關(guān)注群體評(píng)估結(jié)果時(shí)，新方法較傳統(tǒng)方法而言更具有優(yōu)勢(shì)，具體而言：(1)新方法大大節(jié)省了數(shù)據(jù)收集和處理的時(shí)間、人力和物力。設(shè)測(cè)驗(yàn)項(xiàng)目數(shù)為m，群體內(nèi)每個(gè)個(gè)體作答的項(xiàng)目數(shù)為k，則新方法所用的數(shù)據(jù)量?jī)H為傳統(tǒng)方法所使用的數(shù)據(jù)量的k/ m。(2)新方法采用的是矩陣抽樣設(shè)計(jì)，它適用于分析存在缺失的數(shù)據(jù)，尤其適用于態(tài)度問卷，消費(fèi)心理問卷等易出現(xiàn)無效問卷的數(shù)據(jù)收集與處理場(chǎng)合，這種數(shù)據(jù)采集方法增強(qiáng)了問卷調(diào)查的靈活性，提高了問卷調(diào)查的效率；(