計算機(jī)模擬病例考試的效標(biāo)-關(guān)聯(lián)效度研究.pdf

1、前言:計算機(jī)模擬病例(Computer-based Case Simulations，CCS)考試在醫(yī)學(xué)教育領(lǐng)域的應(yīng)用是新近開展的考試方法之一，其作用是考核醫(yī)學(xué)生臨床能力。這方面能力主要在臨床實習(xí)階段培養(yǎng)和提高，臨床實習(xí)是醫(yī)學(xué)教育的重要階段，培養(yǎng)醫(yī)學(xué)生發(fā)現(xiàn)問題、分析問題、解決問題的能力。實習(xí)生的臨床實踐能力直接影響著醫(yī)療活動的效果。該項考試技術(shù)在醫(yī)學(xué)教育領(lǐng)域中的研究始于上世紀(jì)美國，經(jīng)過不斷的發(fā)展和完善，美國醫(yī)學(xué)考試委員會于1999年將計

2、算機(jī)模擬病例應(yīng)用在醫(yī)師執(zhí)照考試的第三部分。 我校從2001年以來開發(fā)的計算機(jī)模擬病例考試軟件系統(tǒng)。運行軟件后計算機(jī)界面提供病情簡介和來診時的病例信息，操作者以文本方式輸入醫(yī)囑，針對計算機(jī)反饋的信息，操作者進(jìn)一步?jīng)Q定進(jìn)行診斷學(xué)檢查的項目、采用何種治療措施以及如何監(jiān)控患者的病情。隨著不斷推進(jìn)模擬時間，模擬患者的病情根據(jù)疾病本身和操作者的干預(yù)不斷地發(fā)生變化，直至病例結(jié)束。目前我們開發(fā)的計算機(jī)模擬病例考試系統(tǒng)可以識別約2100條診斷學(xué)檢

3、查和治療方法的信息。計算機(jī)模擬病例考試的評分由計算機(jī)評分程序完成，計算機(jī)記錄患者管理中的每個步驟，并為其表現(xiàn)評分。 近年來，隨著該項考試技術(shù)的完善，我國醫(yī)學(xué)教育評價領(lǐng)域的研究者逐漸將目光投向計算機(jī)模擬病例考試應(yīng)用在考察醫(yī)學(xué)生臨床能力上來；浙江大學(xué)醫(yī)學(xué)院、汕頭大學(xué)醫(yī)學(xué)院、華西醫(yī)科大學(xué)等均有該領(lǐng)域研究報道，認(rèn)為計算機(jī)模擬病例在考察醫(yī)學(xué)生臨床思維考核方面比以筆與紙為載體的試題具有極其明顯的優(yōu)越性，但是這些研究均將注意力集中到該項考試的

4、設(shè)計與開發(fā)上，缺乏對這項考試效度方面的研究。對于新開發(fā)的考試來說，效度方面的研究更需要引起特別的關(guān)注。 以往由于我校計算機(jī)模擬病例考試使用的病例數(shù)目較少，所以未對該項考試在效度方面做詳細(xì)分析。而2005年的臨床本科生畢業(yè)考試中共投入使用36個模擬病例，每名考生除了完成1個公共病例外，還要從其余35個病例中隨機(jī)抽取完成3個模擬病例。試后運用教育測量學(xué)方法，對本次的計算機(jī)模擬病例考試的信度、效度、難度、區(qū)分度進(jìn)行了分析，重點研究了該

5、考試的效標(biāo)-關(guān)聯(lián)效度：運用統(tǒng)計學(xué)方法對考試數(shù)據(jù)進(jìn)行了相關(guān)分析和線性回歸方程；并使用問卷調(diào)查法研究了考生對計算機(jī)模擬病例考試評價的基本情況。旨在發(fā)現(xiàn)該項考試能否科學(xué)、有效地評價臨床實習(xí)后的醫(yī)學(xué)生應(yīng)具備的臨床實踐能力。 對象與方法 中國醫(yī)科大學(xué)2005屆臨床醫(yī)學(xué)專業(yè)350名本科生為研究對象，包括五年制的臨床本科生241人，六年制的臨床本科生109人；其中男生146名，女生204名。考試時間從2005年4月16日至4月27日，

6、每天考試分上午、下午和晚上三個時段。依據(jù)計算機(jī)模擬病例考試的流程設(shè)計進(jìn)行測試，試后分析教育測量學(xué)的指標(biāo)：考試信度、效標(biāo)-關(guān)聯(lián)效度、難度和區(qū)分度：對各組間各指標(biāo)差異采用卡方檢驗或方差分析，各變量之間的相關(guān)性使用相關(guān)分析、回歸方程：統(tǒng)計分析計算機(jī)模擬病例考試效度等情況問卷調(diào)查結(jié)果；嚴(yán)格地按照考試要求監(jiān)考、嚴(yán)肅考試紀(jì)律，減小它對考試的信度和效度的影響。所有分析使用SPSS12.0軟件包運算。 結(jié)果 一、計算機(jī)模擬病例的考試基本

7、情況整個客觀結(jié)構(gòu)化臨床多站考試(Objecfive Structured Clinical Examination，OSCE)的信度為0.86，CCS成績占OSCE的25％，OSCE成績占整個畢業(yè)考試的50％；CCS考試中的信度為0.74，效度為0.256(效標(biāo)以第四學(xué)年末理論綜合考試成績)與0.354(效標(biāo)以第五學(xué)年末理論綜合考試成績)。這次CCS考試的平均分為4.64，標(biāo)準(zhǔn)差為0.53，平均難度為0.43，平均區(qū)分度為0.38。

8、 二、效標(biāo)-關(guān)聯(lián)效度的分析本次CCS考試與標(biāo)準(zhǔn)化病人(SP)考試成績、臨床基礎(chǔ)成績、第四學(xué)年末理論綜合考試成績、第五學(xué)年末理論綜合考試成績的相關(guān)性具有顯著統(tǒng)計學(xué)意義；與基礎(chǔ)醫(yī)學(xué)成績、臨床課成績相關(guān)性有統(tǒng)計學(xué)意義。 CCS考試成績回歸方程中：SP考試成績：第四學(xué)年末理論綜合考試成績；臨床課成績；基礎(chǔ)醫(yī)學(xué)成績作為變量進(jìn)入回歸方程。CCS考試與SP和理論綜合考試相關(guān)分析得到相關(guān)系數(shù)分別為0.297和0.354，相關(guān)性具有顯著統(tǒng)計學(xué)

9、意義。 三、CCS考試效度等情況問卷調(diào)查的結(jié)果問卷調(diào)查結(jié)果，日常教學(xué)中愿意參加這種形式的模擬病例練習(xí)的考生比例占到99.4％；95.9％的考生認(rèn)為模擬病例考試真實地再現(xiàn)了臨床診療過程：規(guī)定時間內(nèi)，四個病例都完整做完的考生占49.1％；72.5％的考生認(rèn)為CCS考試能夠評價考生自己臨床處理問題的一些能力；75.6％的考生回答問卷時表示重視對臨床實習(xí)過程中的診療思維能力。 將考生的性別、學(xué)制(臨床專業(yè)五年制和六年制)和考試時

10、段(每天分上午、下午和晚上三個時段)作為變量因素，對每個問題的回答情況進(jìn)行X<'2>檢驗，男、女生之間的模擬病例考試問卷回答情況無顯著性差異；臨床專業(yè)五年制考生和六年制外語班考生的問卷回答無顯著性差異，但是在問題1中"考試之前，了解CCS考試的途徑"的回答，兩組考生的差異性顯著；每天上午、下午和晚上不同的考試時段考生的問卷回答情況無顯著性差異。不同性別、學(xué)制和考試時段的考生回答問卷的比較結(jié)果發(fā)現(xiàn)，均無統(tǒng)計學(xué)差異。 討論

11、一、CCS考試的信度與病例難度、區(qū)分度的分析(一)CCS考試的信度2005年的計算機(jī)模擬病例的可靠性較好，但是仍未達(dá)到0.85以上的水平?？荚嚨碾y度大影響了考試信度。信度系數(shù)與以往對比(2002年的信度系數(shù)是0.27)，我們發(fā)現(xiàn)可靠性有一定幅度的提高。 (二)CCS考試的病例難度與區(qū)分度本次計算機(jī)模擬病例考試的平均難度是0.43，說明該項考試的難度較大，可能的原因：第一，許多考生第一次接觸這種形式的考試。第二，考生在教學(xué)醫(yī)院的實

12、習(xí)中沒有充分重視培養(yǎng)自身的臨床思維能力。 本次考試總共使用了36個模擬病例，共有20個病例的區(qū)分度系數(shù)在0.40以上，可以認(rèn)為病例的區(qū)分度是非常好的。 二、CCS考試的效度分析考試的效度是整個考試所應(yīng)全力追求并要切實保證的最基本的測驗質(zhì)量特性。效度跟信度不同，無法用一個單一的數(shù)字指標(biāo)來簡單地加以表達(dá)。 (一)CCS考試的表面效度表面效度是指從外表看就可以明白考試是要測量什么。鑒于考生對考試的認(rèn)可和接受程度，以及積

13、極的態(tài)度參與CCS考試，可以認(rèn)為本次的計算機(jī)模擬病例考試的表面效度較好。 (二)CCS考試的內(nèi)容效度CCS考核考生的臨床能力范圍比較全面，基本能代表臨床訓(xùn)練的特定目標(biāo)，可以作為評定個人臨床能力成績的一部分標(biāo)準(zhǔn)。由于目前關(guān)于內(nèi)容效度的估計尚無恰當(dāng)?shù)挠嬎惴椒?，所以通過專家判斷法和對考生從36個模擬病例中抽查完成的4個病例的表現(xiàn)定性地推測該項考試的內(nèi)容效度。 (三)CCS考試的效標(biāo)．關(guān)聯(lián)效度CCS考試與第五年理論綜合考試和SP

14、考試的相關(guān)系數(shù)分別為0.354和0.297，相關(guān)性具有顯著統(tǒng)計學(xué)意義。表明屬于認(rèn)知領(lǐng)域CCS考試與第五學(xué)年末的理論綜合考試測量考生臨床能力方面具有一致性；SP考試屬于精神運動領(lǐng)域，CCS考試與sP考試的相關(guān)性說明兩個教育目標(biāo)領(lǐng)域具有關(guān)聯(lián)性。本次考試以平時其他學(xué)科按傳統(tǒng)分類的各科成績?yōu)樾?biāo)，相關(guān)程度有顯著性意義，說明本次的效標(biāo)-關(guān)聯(lián)效度較好。 (四)CCS考試研究尚待解決的問題由于結(jié)構(gòu)效度涉及假設(shè)檢驗的過程，同時又不同于共時效度或