元評(píng)價(jià)方法及其在高等教育評(píng)估中的應(yīng)用研究.pdf

1、評(píng)價(jià)既是為決策提供依據(jù)和支持的工具，也是診斷、鑒定、激勵(lì)和監(jiān)控的重要管理手段。隨著評(píng)價(jià)工作在教育、科技、工程、經(jīng)濟(jì)等領(lǐng)域的廣泛開展，并取得顯著成效的同時(shí)，評(píng)價(jià)方法及其結(jié)論也不斷受到質(zhì)疑，評(píng)價(jià)方法的科學(xué)性、評(píng)價(jià)結(jié)果的客觀性也越來越受到人們的關(guān)注。 盡管學(xué)者們提出了元評(píng)價(jià)的思想，通過對(duì)評(píng)價(jià)(包括結(jié)構(gòu)、過程和結(jié)果)的評(píng)價(jià)，分析評(píng)價(jià)中可能存在的偏差，以修正評(píng)價(jià)方案、提高評(píng)價(jià)的信度和效度。但是關(guān)于元評(píng)價(jià)方法的研究成果卻并不多，在評(píng)價(jià)實(shí)踐中

2、也往往難以有效地實(shí)施元評(píng)價(jià)。如何有效地組織和實(shí)施元評(píng)價(jià)、元評(píng)價(jià)的方法及其技術(shù)等問題都還有待于進(jìn)一步的研究。 本文的主要工作有： 1、比較系統(tǒng)地建立了元評(píng)價(jià)的方法及其技術(shù)，比較全面地研究了教育評(píng)價(jià)中的敏感性問題 盡管元評(píng)價(jià)的本質(zhì)也是一種評(píng)價(jià)，因此元評(píng)價(jià)的方法可以一定程度地借鑒評(píng)價(jià)的方法。但是元評(píng)價(jià)畢竟與評(píng)價(jià)存在根本的區(qū)別，例如評(píng)價(jià)的對(duì)象是評(píng)價(jià)客體，而元評(píng)價(jià)的對(duì)象是原來的評(píng)價(jià)；評(píng)價(jià)注重評(píng)價(jià)方案的設(shè)計(jì)和組織實(shí)施，而元評(píng)

3、價(jià)更側(cè)重于驗(yàn)證評(píng)價(jià)的正確性和評(píng)價(jià)結(jié)果的科學(xué)性等。 本文正是從元評(píng)價(jià)的角度，主要以高等教育評(píng)估項(xiàng)目為實(shí)例和背景，比較系統(tǒng)地建立了以內(nèi)容分析法為主要手段、定性分析和定量分析相結(jié)合的元評(píng)價(jià)的方法及其技術(shù)，即對(duì)評(píng)價(jià)指標(biāo)體系的建立、主觀指標(biāo)的價(jià)值評(píng)判、評(píng)價(jià)數(shù)據(jù)的預(yù)處理、多指標(biāo)數(shù)據(jù)合成、群體評(píng)判結(jié)果的綜合處理等評(píng)價(jià)過程中的各個(gè)步驟和環(huán)節(jié)逐一進(jìn)行剖析，研究和分析其中影響評(píng)價(jià)結(jié)果科學(xué)性的因素。如此系統(tǒng)地研究元評(píng)價(jià)的方法及其技術(shù)，這在國內(nèi)還未見報(bào)

4、道。 第二章研究評(píng)價(jià)指標(biāo)體系的科學(xué)性。評(píng)價(jià)指標(biāo)體系刻畫了評(píng)價(jià)客體的主要特征，同時(shí)也體現(xiàn)了評(píng)價(jià)的目的和導(dǎo)向，因此，保證評(píng)價(jià)指標(biāo)體系的科學(xué)性是評(píng)價(jià)取得成功的核心和關(guān)鍵。本章在討論評(píng)價(jià)指標(biāo)體系的結(jié)構(gòu)和構(gòu)建原則的基礎(chǔ)上，分析了評(píng)價(jià)指標(biāo)的類型，并提出了一種特殊的、但往往被忽略的指標(biāo)類型：開關(guān)型指標(biāo)。最后，以學(xué)科評(píng)估為實(shí)例，對(duì)評(píng)價(jià)指標(biāo)體系中各項(xiàng)指標(biāo)的區(qū)分性、相關(guān)性和相對(duì)重要性等性能進(jìn)行了定量和定性分析。 第三章研究影響指標(biāo)屬性值的因

5、素。指標(biāo)的屬性值體現(xiàn)了評(píng)價(jià)客體某方面的價(jià)值，確定指標(biāo)的屬性值，即價(jià)值評(píng)判，是評(píng)價(jià)中的一個(gè)重要環(huán)節(jié)，而且評(píng)價(jià)中存在許多因素會(huì)導(dǎo)致價(jià)值評(píng)判結(jié)果的隨意性和偶然性。本章對(duì)各種可能影響價(jià)值評(píng)判的因素，如評(píng)價(jià)客體信息的采集方法及可靠性、評(píng)判人的組成結(jié)構(gòu)和規(guī)模、評(píng)判人的遴選方式、評(píng)判方式和評(píng)判環(huán)境等，都作了比較詳盡的研究和分析，并對(duì)教育評(píng)價(jià)提出了一些有利于提高價(jià)值評(píng)判客觀性的措施。 第四章研究指標(biāo)屬性值的預(yù)處理。對(duì)不同類型和不同性態(tài)的指標(biāo)的屬

6、性值，選用不同的效用函數(shù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的相對(duì)價(jià)值，必然導(dǎo)致評(píng)價(jià)結(jié)果的敏感性，并且這種敏感性往往是不易察覺的。本章討論了各種效用函數(shù)，如線性效用函數(shù)、非線性效用函數(shù)、基于統(tǒng)計(jì)分析的效用函數(shù)等的性能特點(diǎn)，分析了各種效用函數(shù)的優(yōu)缺點(diǎn)和適用條件，并歸納了選用效用函數(shù)的注意事項(xiàng)。 第五章研究多指標(biāo)數(shù)據(jù)的合成模型。在多指標(biāo)綜合評(píng)價(jià)中，必然需要將各項(xiàng)指標(biāo)的標(biāo)準(zhǔn)化相對(duì)價(jià)值，按照一定的數(shù)學(xué)模型合成為評(píng)價(jià)客體的整體價(jià)值。本章分析了常用的加法合成模型和

7、乘法合成模型的性能特點(diǎn)和適用場(chǎng)合，并以教育評(píng)價(jià)的實(shí)例說明不同評(píng)價(jià)模型對(duì)評(píng)價(jià)結(jié)果的敏感性。而且，鑒于目前模糊綜合評(píng)價(jià)法的廣泛使用，本章也討論和分析了模糊綜合評(píng)價(jià)法中如果處理不當(dāng)、將會(huì)得出不恰當(dāng)?shù)脑u(píng)價(jià)結(jié)果的一些細(xì)節(jié)，如合成算子的選用、評(píng)價(jià)結(jié)果向量的理解等。 第六章研究群體評(píng)判的質(zhì)量及數(shù)據(jù)綜合方法。在多位評(píng)判人完成對(duì)同一評(píng)價(jià)客體的價(jià)值評(píng)判時(shí)，每位評(píng)判人給出的評(píng)判結(jié)果具有一定的隨機(jī)性和偶然性。本章分析了群體評(píng)判結(jié)果中每位評(píng)判人的評(píng)判質(zhì)量

8、和所有評(píng)判人的意見一致程度，并討論了常用群體評(píng)判結(jié)果綜合方法的特點(diǎn)和適用范圍，提出了基于評(píng)判準(zhǔn)確度的群體評(píng)判結(jié)果綜合方法。最后，還改進(jìn)了定性指標(biāo)群體評(píng)判結(jié)果的統(tǒng)計(jì)方法。 第七章給出了一個(gè)元評(píng)價(jià)方法在高等教育評(píng)估中的應(yīng)用實(shí)例，對(duì)全國優(yōu)秀博士學(xué)位論文評(píng)選的省級(jí)初選工作的評(píng)價(jià)方案和評(píng)價(jià)結(jié)果進(jìn)行了分析和修正，并以實(shí)踐結(jié)果表明經(jīng)過元評(píng)價(jià)的省級(jí)初選工作取得了較好的效果。 2、提出以工程化方法開展評(píng)價(jià)的思想 隨著評(píng)價(jià)的大型化和

9、復(fù)雜化，評(píng)價(jià)必然是大規(guī)模人員的分工協(xié)作過程，而且勢(shì)必面臨質(zhì)量無法保證、進(jìn)度難以控制、成本急劇增長等問題。因此，借鑒“軟件工程”的成功經(jīng)驗(yàn)，把評(píng)價(jià)當(dāng)作一項(xiàng)工程，以工程化的思想指導(dǎo)、規(guī)范和管理評(píng)價(jià)的開展，提出“評(píng)價(jià)工程”的概念，這在國內(nèi)還未見報(bào)道。 第八章按照評(píng)價(jià)工程的思想，首先指出工程化的質(zhì)量、進(jìn)度和投資三大控制目標(biāo)，并概括了工程化方法中的“六個(gè)化”原則，即規(guī)范化、文檔化、模塊化、信息化、工具化和復(fù)審化。然后，借鑒軟件工程的思想，

10、提出評(píng)價(jià)活動(dòng)生命周期的概念，將評(píng)價(jià)活動(dòng)分為分析、設(shè)計(jì)和實(shí)施等階段，并在每一個(gè)階段按照“六個(gè)化”原則組織實(shí)施，以保證評(píng)價(jià)的質(zhì)量、縮短評(píng)價(jià)的周期和降低評(píng)價(jià)的成本。最后，借鑒程序測(cè)試?yán)碚摚岢隽嘶诤谙錅y(cè)試的元評(píng)價(jià)方法，以查找評(píng)價(jià)中的偏差和分析評(píng)價(jià)的質(zhì)量。 本文的創(chuàng)新點(diǎn)在于： 1、比較系統(tǒng)地建立了元評(píng)價(jià)的方法及其技術(shù)，比較全面地研究了教育評(píng)價(jià)中的敏感性問題，彌補(bǔ)了目前文獻(xiàn)中關(guān)于元評(píng)價(jià)的方法及其技術(shù)研究不多這種比較零散、片面的不

11、足，對(duì)于完善元評(píng)價(jià)的技術(shù)資源、指導(dǎo)元評(píng)價(jià)的開展實(shí)施具有實(shí)際意義。 2、在群體評(píng)判結(jié)果的質(zhì)量及數(shù)據(jù)綜合方法研究中，分析了目前教育評(píng)價(jià)中經(jīng)常采用的中間平均法的缺陷和不適用原因，并根據(jù)中間平均法的基本思想，進(jìn)一步拓展和細(xì)化，提出了基于價(jià)值評(píng)判準(zhǔn)確度的加權(quán)平均法。 3、借鑒“軟件工程”的成功經(jīng)驗(yàn)，提出了“評(píng)價(jià)工程”的思想，以工程化的方法指導(dǎo)、規(guī)范和管理大型化、復(fù)雜化的評(píng)價(jià)工作的開展和實(shí)施。而且，借鑒程序測(cè)試?yán)碚?，提出了一種新的元