測驗效度概念的新發(fā)展doc - 北京語言大學教育測量研究所

1、1測驗效度概念的新發(fā)展測驗效度概念的新發(fā)展謝小慶（北京語言大學）摘要：摘要：在1985年《教育與心理測驗標準》（第5版）出版之前，效度研究的核心概念是“效標（criterion）”。效度研究被視為一種用“效標”對測驗的效度進行證明（verify）的過程，效度研究被視為一種對測驗分數(shù)做出有效（valid）解釋的過程。在1985年以后，效度研究的核心概念是“證據(jù)（evidence）”。效度研究被視為一種通過積累證據(jù)對測驗的效度進行支持（su

2、ppt）的過程，效度研究被視為一種對測驗分數(shù)做出合理（reasonable）解釋的過程。關(guān)于效度的這種理解，突出地體現(xiàn)在1999年出版的《教育與心理測驗標準》（第6版）中。美國教育協(xié)會和美國國家教育測量學會共同組織編寫的《教育測量》在業(yè)內(nèi)被稱為是“測量領(lǐng)域的《圣經(jīng)》”。在2006年《教育測量》（第4版）出版以后，效度研究的核心概念變?yōu)椤袄碛桑╳arrant）”。效度研究被視為一種通過構(gòu)造“理由系統(tǒng)”和“理由網(wǎng)絡(luò)”對效度所進行的“論證（a

3、rgument）”，效度研究被視為一種對測驗分數(shù)做出可接受的（plausible）解釋的過程。本文結(jié)合作者在考試實踐中的一些體會，介紹了效度概念的新發(fā)展。關(guān)鍵詞：測驗考試效度考試是一把尺子，被用來測量應(yīng)考者的能力。這把尺子本身可能存在質(zhì)量問題。只有達到質(zhì)量標準的考試才能被應(yīng)用。效度是刻畫考試質(zhì)量的最重要指標，它反映了考試在多大程度上實現(xiàn)了考試目的。在美國教育研究協(xié)會（AmericanEducationalResearchAssociat

4、ion，AERA）、美國心理學會（AmericanPsychologicalAssociation，APA）和美國國家教育測量學會（NationalCouncilonMeasurementinEducation，NCME）共同制定的《教育與心理測驗標準（StardsfEducationalPsychologicalTesting）》[1][2]和美國教育協(xié)會（AmericanCouncilonEducation）和美國國家教育測量學會共

5、同組織編寫的、被人們稱為“教育測量領(lǐng)域的《圣經(jīng)》”的《教育測量（EducationalMeasurement）》[3][4]中，首先討論的都是考試的效度問題。一、一、效度概念的歷史演變效度概念的歷史演變考試是一把尺子。這把尺子的準確性，需要靠另一把尺子來檢驗。這“另一把尺子”，就是“效標（criterion）”，或“標準”。在招生名額有限的情況下，當我們準備將一項測驗（如手指速度測驗或注意力測驗）作為“打字員培訓班”的招生考試時，我們可

6、以對這項測驗的有效性進行檢驗。我們可以計算經(jīng)過一個月培訓后的學員的打字速度與測驗分數(shù)之間的相關(guān)。如果存在顯著的相關(guān)，我們可以說這項測驗是有效的。這時，經(jīng)過一個月培訓后的打字速度就是“效標”。早期的效度研究是圍繞“效標”展開的。例如，作為美國高考的《學術(shù)評3效度”和“內(nèi)容效度”，但我的考試具有“構(gòu)念效度”?！皹?gòu)念效度”成了一個“筐”，所有無法得到效度證明的考試都可以往里面裝。據(jù)說，“語文能力”是一個“構(gòu)念”，這個“構(gòu)念”可以用考試來界定，

7、這些界定“構(gòu)念”的考試具有“構(gòu)念效度”。關(guān)于“構(gòu)念效度”虛弱的邏輯基礎(chǔ)和循環(huán)論證，討論的文章已經(jīng)很多，不再贅述。正是由于認識到原有效度概念框架的脆弱，心理測量學家們開始嘗試構(gòu)造新的效度研究范式（Paradigm）。這種努力，體現(xiàn)在1985出版的《教育與心理測驗標準（第5版）》[1]中，在1989年出版（1993年修訂）的《教育測量（第3版）》[4]和1999年出版的《教育與心理測驗標準（第6版）》[2]中，得到比較完整地闡述。在新的研究

8、范式中，不再將效度劃分為效標關(guān)聯(lián)效度、內(nèi)容效度和構(gòu)念效度?！皹?gòu)念”被用來定義效度概念?！皹?gòu)念”被定義為：“測驗所要測量的概念或特性（theconcepttheacteristicthatatestisdesignedtomeasure）”。（AERA，1999，第173頁）。所謂效度，就是測驗對構(gòu)念進行測量的有效程度。從此，“構(gòu)念效度（constructvalidity）”這一短語對于效度來講已經(jīng)成為多余（redundant）”。（AE

9、RA，1999，第174頁）。隨著“構(gòu)念效度”退出歷史舞臺，“構(gòu)念”走到了舞臺的中心。在新的研究范式中，“證據(jù)（evidence）”取代效標成為效度研究的核心概念。效度研究被視為一種通過積累“證據(jù)”對測驗的效度提供支持（suppt）的過程，效度研究被視為一種對測驗分數(shù)做出合理（reasonable）解釋的過程。在《教育與心理測驗標準（第6版）》中，提出了支持考試效度的5個方面的證據(jù)：基于內(nèi)容的證據(jù)(evidencebasedoncont

10、ent)；基于反應(yīng)過程的證據(jù)(evidencebasedonresponseprocesses)；基于內(nèi)部結(jié)構(gòu)的證據(jù)(evidencebasedoninternalstructure)；基于與其他變量之間關(guān)系的證據(jù)(evidencebasedonrelationstoothervariables)；基于測驗結(jié)果的證據(jù)(evidencebasedonconsequencesoftesting)。[2][9]這時，效度研究的邏輯是，雖然我不

11、能“證明”我的考試是有效的，但我可以用盡可能多的“證據(jù)”去支持我的考試。盡管我不能確認某項考試一定有效，但我可以從互相競爭的考試中選擇得到更多證據(jù)支持的考試，我可以根據(jù)效度研究結(jié)果做出合理的選擇。在2006年出版的《教育測量（第4版）》中，將這種效度研究范式稱為基于構(gòu)念效度研究之上的“一元化效度模型（constructvalidationasthebasisfaunifiedmodelofvalidity）”。（Brennan，2006

12、，第21頁）在考試實踐中，這種效度研究范式繼續(xù)受到挑戰(zhàn)，繼續(xù)遭到質(zhì)疑。人們發(fā)現(xiàn)，僅僅靠作為證據(jù)的“事實（fact）”或“可觀察行為（observablebehavi）”并不足以對測驗效度提供足夠的支持。只有當“證據(jù)”與一些預設(shè)的“假設(shè)”結(jié)合在一起時，才能對測驗提供支持。在考試領(lǐng)域中的一個重要的效度研究案例是美國教育測驗服務(wù)中心（ETS）關(guān)于客觀性選擇題和主觀性作文題的比較研究。選擇題能否被用于考查寫作能力？上世紀50年代初，在美國語文教