“全球醫(yī)學(xué)教育最基本要求”評估的統(tǒng)計方法探討.pdf

1、“全球醫(yī)學(xué)教育最基本要求”評估的統(tǒng)計方法探討背景2001年國際醫(yī)學(xué)教育組織(IIME)制定了“全球醫(yī)學(xué)教育最基本要求(GMER)”。2003年IIME對我國8所大學(xué)醫(yī)學(xué)院臨床醫(yī)學(xué)專業(yè)7年制畢業(yè)生進行了基線評估，采用多選題(MCQ)、客觀結(jié)構(gòu)化臨床考試(OSCE)和教師觀察法(OBS)3種測評方法評估了GMER7個領(lǐng)域的能力。 目的利用一次性施測的標準參照測驗數(shù)據(jù)，分析GMER評估各測評方法(包括OSCE和OBS)的可靠性、分數(shù)線

2、決策可靠性和有效性，以及整套評估工具的有效性，為改進GMER評估設(shè)計和提高評估質(zhì)量提供依據(jù)。 方法根據(jù)評估數(shù)據(jù)的特點，采用隨機單面交叉設(shè)計、隨機雙面交叉設(shè)計和含固定面交叉設(shè)計的概化理論分析OSCE中SP考站的可靠性及分數(shù)線決策可靠性；采用隨機雙面交叉設(shè)計、三面混雜設(shè)計的概化理論和三因子隨機雙面交叉設(shè)計的多元概化理論分析OBS的可靠性及分數(shù)線決策可靠性；采用傳統(tǒng)多質(zhì)-多法(MTMM)矩陣分析和驗證性因子分析(CFA)分析整個GME

3、R評估的構(gòu)念效度；采用一階和二階CFA分析OSCE的構(gòu)念效度；采用CFA分析OBS的構(gòu)念效度。 結(jié)果我校參加評估的臨床醫(yī)學(xué)專業(yè)7年制畢業(yè)生基本達到了GMER的標準。OSCE的SP考站可靠性不高，但各領(lǐng)域的分數(shù)線決策信度很滿意；OBS測評各個領(lǐng)域的分測驗和總的可靠性都不高，各領(lǐng)域的分數(shù)線決策信度也較低。整個GMER評估的構(gòu)念效度不甚滿意，測評方法因素和特質(zhì)(能力)因素都對結(jié)果產(chǎn)生了不可忽略的影響，且方法因素的影響大于能力因素的作用

4、；OSCE的構(gòu)念效度較好，OBS具有很高的構(gòu)念效度。 結(jié)論概化理論可用于解決經(jīng)典測量理論下難以解決的標準參照測驗的可靠性和分數(shù)線的決策可靠性問題。GMER評估中OSCE的SP考站和OBS的可靠性有待提高。驗證性因子分析可以較好的通過定量分析實際觀測到的能力及其相互關(guān)系與預(yù)想的測量目標間的一致性。GMER評估總的構(gòu)念效度有待提高，應(yīng)降低測評方法對評估結(jié)果的影響。建議：①增加SP長考站為10個，短考站為5個，增加SP考站間的同質(zhì)性，

5、以提高SP考站可靠性。②增加OBS觀察實習(xí)階段數(shù)為6，在難度相近、實習(xí)內(nèi)容相近的科室進行臨床觀察，在同一科室(同一階段)內(nèi)，由相同的幾位教師為不同學(xué)生評分，將有助于提高可靠性；對OBS各領(lǐng)域的分數(shù)標準制定加以改進。③在OBS中，著重探討“溝通技能”領(lǐng)域能力的測評條目，以提高可靠性；對教師觀察表中第13條“承認其他醫(yī)務(wù)人員的作用”作進一步說明。④加強對評分者的培訓(xùn)，給被試學(xué)生熟悉測評方法的機會，從而降低測評方法對評估結(jié)果的影響。