可修改答案的CD-CAT的研究.pdf

1、和以往的紙筆測驗(Paper And Pencil Based Test, P&P)相比計算機化自適應(yīng)測驗(Computerized Adaptive Testing, CAT)根據(jù)被試的作答反應(yīng)自適應(yīng)地選擇題目, CAT既減少了測驗的長度,并且顯著提高了測驗的精度。認(rèn)知診斷計算機化自適應(yīng)測驗(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是認(rèn)知診斷理論和計算機化自

2、適應(yīng)測驗的理論相結(jié)合的產(chǎn)物，它不僅具有CAT的特點，同時還具有診斷的功能，CD-CAT旨在對個體的認(rèn)知過程、加工技能或知識結(jié)構(gòu)進(jìn)行診斷，從而為后續(xù)的補救性教學(xué)提供有效的借鑒，它更強調(diào)考察被試內(nèi)部的加工過程。然而,目前絕大多數(shù)CAT和CD-CAT不允許被試修改答案,研究者主要擔(dān)心修改答案會降低它們的有效性。允許修改答案符合被試一貫的測驗習(xí)慣,修改之后的分?jǐn)?shù)更能反映被試真實的水平,從而能夠進(jìn)一步促進(jìn)CAT和CD-CAT在實際中的應(yīng)用。已有的

3、研究主要從三個方面提出了可修改答案CAT的控制方法：一是測驗設(shè)計;二是改進(jìn)選題策略;三是建構(gòu)模型。Han(2013)提出的題目口袋法(Item Pocket, IP)是目前具有較好應(yīng)用前景的可修改答案的CAT(Reviewable CAT)控制方法, IP法的思路是計算機為被試提供了一種題目口袋選擇,即允許被試作答過程中,隨時可以把待修改的題目或者暫時想跳過的題目放入IP中,然后接著作答下一個題目,放入IP內(nèi)的題目不參與當(dāng)前能力估計。當(dāng)

4、IP容量已滿后,被試需要替換一題才能再次放入。IP法的缺點是其容量不容易控制,容量過大將導(dǎo)致較大的估計誤差。
　　本文在IP方法的基礎(chǔ)之上加以改進(jìn),提出了新計分的題目口袋法(Modified IP, MIP),即對放入IP內(nèi)修改的題目重新計分。與IP法相比, Stocking(1997)的設(shè)計對修改行為有較多的限制, Stocking設(shè)計1允許考生在答完所有題目后,返回修改固定數(shù)量的題目,修改后的作答并沒有體現(xiàn)在自適應(yīng)選題中;St

5、ocking設(shè)計2是允許被試修改單獨限時題目單元內(nèi)的答案。在測驗過程中將題目按照先后順序劃分為固定長度的題目單元，題目單元長度根據(jù)實際需要而規(guī)定。被試可以在單元內(nèi)對題目進(jìn)行檢查并修改,計算機根據(jù)被試當(dāng)前單元的作答來選擇下一個單元,提交答案后的單元不允許再次返回修改。與Stocking設(shè)計一相比,被試在Stocking設(shè)計二中對測驗有更多的掌控,不管測驗被分割為多少個小單元,被試還可以修改所有的題目,但設(shè)計一中只能修改固定數(shù)量的題目。另外

6、設(shè)計二中被試修改單元內(nèi)答案會影響下一個單元的選擇,計算機會根據(jù)被試修改后的能力估計值選擇下一個單元。而設(shè)計一中修改題目之后的能力估計值并沒有體現(xiàn)在自適應(yīng)選題上。從這點來看設(shè)計二要比設(shè)計一更符合CAT的規(guī)則。以上幾種修改答案的設(shè)計方法在CAT的應(yīng)用中各有優(yōu)缺點(IP、MIP、Stocking設(shè)計1和Stocking設(shè)計2), CD-CAT是由CAT的進(jìn)一步發(fā)展而來,但兩者之間又有很大的區(qū)別,為了驗證上述方法在可修改答案的 CD-CAT(R

7、eviewable Cognitive Diagnostic Computerized Adaptive Testing, RCD-CAT)的效果,模擬研究分別采用了DINA和R-RUM模型,假設(shè)被試知識狀態(tài)和題庫都服從均勻分布，模擬生成5000個被試,300容量的題庫，知識狀態(tài)的估計采用極大似然估計方法(Maximum Likelihood Estimation, MLE),屬性考察個數(shù)分別是5個和7個,選題策略包括：Kullback

8、 Leibler(KL)、Posterior Weighted KL(PWKL)、Hybrid KL(HKL)和Modified Posterior-Weighted KL(MPWKL),測驗長度分為10題和20題。
　　本研究表明：第一,與傳統(tǒng)不修改答案的CD-CAT相比,本文提到的RCD-CAT方法,可以在不損失診斷精度和題庫曝光率的基礎(chǔ)上,允許學(xué)生修改答案,這符合學(xué)生一般作答行為習(xí)慣,減少學(xué)生做答的負(fù)擔(dān)及焦慮程度,更易被大眾