不同等級數(shù)利克特量表的適用性研究

1、<p>　　不同等級數(shù)利克特量表的適用性研究 </p><p>　　來自網(wǎng)絡(luò)，作者：佚名</p><p><b>　　1. 引言</b></p><p>　　量表是市場調(diào)查等領(lǐng)域常用的工具，常用的三種量表分別是瑟斯頓量表（Thurston scale），利克特量表（Likert scale）和格特曼量表（Guttman scale）。

2、相對于瑟斯頓量表的嚴(yán)格編制要求和格特曼量表在實(shí)際中難以滿足的條件，利克特量表易于編制而有同樣滿意的信度（Kapes， Mastie & Whitfield， 1994）。利克特量表以一系列陳述開始，每一個陳述表達(dá)一種或明確贊成或明確不贊成的態(tài)度，項(xiàng)目根據(jù)測驗(yàn)過程中施測對象的回答而進(jìn)行選擇，被試要求對每一個陳述進(jìn)行等級回答。由于利克特量表容易設(shè)計、構(gòu)造簡單且易于操作，可以用來測量其他一些量表所不能夠測量的某些多維度的復(fù)雜概念或態(tài)度

3、。因此使得利克特量表成為應(yīng)用最為廣泛的一種量表形式，在市場研究中也得到大量應(yīng)用。如測量消費(fèi)者對產(chǎn)品或服務(wù)的重視程度與滿意程度；對測量個人生活狀態(tài)、消費(fèi)心理；測量消費(fèi)者對品牌、廣告等的心理感覺等。</p><p>　　常見的利克特量表包括4點(diǎn)式、5點(diǎn)式、6點(diǎn)式和7點(diǎn)式，有時候也可以見到10點(diǎn)式。在量表實(shí)際的編制過程中，等級數(shù)的確定往往帶有較大的隨意性，對各種量表優(yōu)劣勢的認(rèn)識也更多地停留在感性經(jīng)驗(yàn)的基礎(chǔ)之上。如果對上

4、述的五種等級利克特量表進(jìn)行劃分，按照其相似程度大體可以分為三種，即最為常見的5點(diǎn)和7點(diǎn)可以作為奇數(shù)等級的代表，4點(diǎn)和6點(diǎn)可作為偶數(shù)等級的代表，而10點(diǎn)在某種程度上與前兩類都不相同，可以作為多等級的代表。在定性思考的基礎(chǔ)之上，研究者普遍認(rèn)為這三類量表各自具有以下優(yōu)劣勢。作為奇數(shù)等級代表的5點(diǎn)和7點(diǎn)量表的應(yīng)用最為廣泛，因而是被訪者較為熟悉的形式，在實(shí)際實(shí)施時不需進(jìn)行過多的解釋即可進(jìn)行，但其缺點(diǎn)也是比較明顯的。由于中國傳統(tǒng)文化倡導(dǎo)“中庸”思想

5、，被訪者在填答時可能會出現(xiàn)“趨中反應(yīng)”，即傾向于選擇“一般”等中間選項(xiàng)，這一方面沒有真實(shí)反映被訪者的傾向性，另一方面可能還包含著“不確定/不一定”等意義，而這也是研究者不希望看到的結(jié)果。正是為了克服這種“趨中反應(yīng)”，強(qiáng)迫被訪者在回答時產(chǎn)生一定的傾向性，部分研究者開始嘗試使用偶數(shù)等級的4點(diǎn)和6點(diǎn)量表，由于國外在評分時習(xí)慣采用四分制（差，一般，好，優(yōu)秀），因而使</p><p>　　上述判斷大多是基于研究者的經(jīng)驗(yàn)而總

6、結(jié)出的，缺少在數(shù)據(jù)方面的支持。為此，也有部分來自不同領(lǐng)域的研究者采用定量的分析方法來探討利克特量表的理想等級數(shù)。在心理計量學(xué)領(lǐng)域，以量表內(nèi)部一致性為例，Symonds（1924）的研究表明當(dāng)?shù)燃墧?shù)為7至9時，計算的結(jié)果最好?！?點(diǎn)量表”也同樣得到了Cicchetti（1995）， Nunnally（1967）， Finn（1972）等研究結(jié)果的支持；而Bending（1953）比較了3/5/7/9/11點(diǎn)量表后則認(rèn)為，應(yīng)該使用9點(diǎn)量表。

7、然而另外一些研究者則認(rèn)為內(nèi)部一致性與量表等級數(shù)無關(guān)（Peabody， 1962； Boote， 1981； Widing & Coulter，1991； etc.）。Christian Jensen & John Tøndering（2005）則在語言學(xué)領(lǐng)域比較了2點(diǎn)、4點(diǎn)和30點(diǎn)量表的結(jié)果，發(fā)現(xiàn)4點(diǎn)量表可以得到最好的結(jié)果，同時還發(fā)現(xiàn)量表等級數(shù)越多，被訪者在判斷時所花費(fèi)的時間就越長，這一結(jié)果在前一領(lǐng)域內(nèi)也得到了

8、證明（Matell & Jacoby， 1972）。因此，等級數(shù)的確定不光要考慮到其實(shí)際效果的問題，同時還需要與</p><p>　　以上的量表研究幾乎都是基于紙筆測驗(yàn)或者計算機(jī)測驗(yàn)的結(jié)果，此時消費(fèi)者能夠?qū)π枰x擇的尺度同時有一個全面的理解。在市場研究中，電話調(diào)查作為一種常用的訪問方式，被訪者僅能夠逐一聽到選項(xiàng)，而無法象紙筆測驗(yàn)或者計算機(jī)測驗(yàn)一樣看到選項(xiàng)，從而使被訪者無法形成對選擇所需要量表選項(xiàng)的全面的評

9、估和全面的理解。此種不能夠看到選擇的訪問方式可能會產(chǎn)生如下兩個方面的影響，首先過于復(fù)雜的量表選項(xiàng)等級將影響選項(xiàng)的讀出與理解，嚴(yán)重影響訪問效率；其次被訪者會根據(jù)語言習(xí)慣來回答，而無法完全按照問卷設(shè)計的尺度進(jìn)行評估。所以在進(jìn)行電話訪問時，不同等級的李克特量表可能與紙筆或者其他面訪有不同的影響。而目前心理學(xué)界和市場研究屆缺少這方面的研究成果。</p><p>　　2. 問題提出與研究目的</p><

10、p>　　前人研究已為量表等級數(shù)的探討打下了很好的基礎(chǔ)，但還存在以下幾個方面的問題：首先，囿于研究方法以及所比較的量表等級數(shù)不同，研究結(jié)果并沒有取得完全的一致；其次，以往研究大多是國外研究者的結(jié)晶，由于各國文化的不同，其結(jié)論能否直接套用到我國還值得商榷。第三，缺乏對不能夠看到選項(xiàng)的電話訪問時所用量表等級數(shù)的研究結(jié)果；最后，目前對不同等級優(yōu)劣勢的探討還停留在理論層面，沒有系統(tǒng)性的研究結(jié)論對市場研究領(lǐng)域以操作指導(dǎo)。</p>

11、<p>　　為了解決上述問題，本研究以某產(chǎn)品（手機(jī)）滿意度研究為例，選擇在我國比較常用的5點(diǎn)、6點(diǎn)、7點(diǎn)和10點(diǎn)量表進(jìn)行測量。也同時考慮兩種不同的訪問方式：在線調(diào)查（能夠看到選項(xiàng)）與CATI——計算機(jī)輔助電話訪問（不能夠看到選項(xiàng)）。</p><p>　　為了比較四種量表的測量結(jié)果，本研究擬從以下幾個方面來對此進(jìn)行判斷，試圖探討不同量表等級數(shù)對于研究結(jié)果的影響，分析不同等級量表的優(yōu)劣勢以及在不同訪問方式

12、中的適用程度，并為量表的改進(jìn)方向提供建議。</p><p>　?。?）四種量表在測量消費(fèi)者對產(chǎn)品滿意度上的一致性程度；</p><p>　?。?）量表的信度、效度水平；</p><p>　?。?）量表的鑒別度，量表顯著性區(qū)分不同屬性或產(chǎn)品滿意度的能力。</p><p>　　（4）量表的選項(xiàng)分布特征。</p><p>&

13、lt;b>　　3. 研究方法</b></p><p>　　3.1 調(diào)查量表及測量設(shè)計</p><p>　　本研究以手機(jī)滿意度為研究內(nèi)容，比較了四個量表的評價效果，整體問卷由三部分組成：</p><p>　　表1　問卷的結(jié)構(gòu)分布</p><p>　　在第二部分的滿意度評價中，量表共分四個版本，分別為：五點(diǎn)量表，六點(diǎn)量表，七點(diǎn)量

14、表，十點(diǎn)量表。除計分方式不同之外，四個版本間的題目完全一致。</p><p>　　為了與常見的量表表現(xiàn)形式相匹配，將五點(diǎn)量表、六點(diǎn)量表和七點(diǎn)量表以選擇題形式出現(xiàn)，并有文字對應(yīng)；十點(diǎn)量表以打分的形式出現(xiàn)，無文字對應(yīng)。具體形式如下：</p><p>　　五點(diǎn)量表：1.非常不滿意　2.比較不滿意　3.一般　　4.比較滿意　5.非常滿意</p><p>　　六點(diǎn)量表：1.非

15、常不滿意　2.不滿意　3.有些不滿意　4.有些滿意　5.滿意　6.非常滿意</p><p>　　七點(diǎn)量表：1.非常不滿意　2.不滿意　3.有些不滿意　4.一般　5.有些滿意　6.滿意　7.非常滿意</p><p>　　十點(diǎn)量表：請用1到 10的任何一個數(shù)字來表達(dá)您的意見，10分為滿分，表示非常滿意。</p><p>　　本研究采用單因素的被訪者間的隨機(jī)區(qū)組設(shè)計，調(diào)查

16、過程中在四個版本的量表中隨機(jī)選擇某一被訪者所回答的量表形式，計算機(jī)輔助的隨機(jī)樣本分配較好地保證了四組間樣本的同質(zhì)性以及不同組別間被訪者數(shù)量的一致性。</p><p>　　3.2 調(diào)查方法與樣本</p><p>　　調(diào)查數(shù)據(jù)在2006年1月1-20日收集。Online調(diào)查通過在線Panel（QTICK.com 題客調(diào)查網(wǎng)）發(fā)布問卷獲得，數(shù)據(jù)通過標(biāo)準(zhǔn)篩選程序去掉答題明顯邏輯錯誤以及與Panel

17、信息不符合的數(shù)據(jù)，CATI調(diào)查通過電話訪問中心對全國18-55歲居民進(jìn)行隨機(jī)訪問獲得。CATI和Online調(diào)查范圍均覆蓋了一級、二級和三級城市。</p><p>　　兩個調(diào)查的對象是擁有并正在使用手機(jī)的消費(fèi)者，有效問卷共計2193份，其中Online調(diào)查共得到808份有效樣本，CATI共得到1385份有效樣本。所有樣本被隨機(jī)分為四組，各組樣本的基本背景資料見表2。</p><p><

18、;b>　　表2　樣本背景比較</b></p><p>　　通過對年齡和個人平均月收入進(jìn)行方差檢驗(yàn)發(fā)現(xiàn)，四組樣本無明顯差異，因而可以作為同質(zhì)樣本組，在量表的回答上可以相互比較。Online和CATI相比，前者被訪者的年齡偏低，收入偏高，這可能是由于訪問的方式所決定的，但這種差異目前還不是本研究的重點(diǎn)。</p><p>　　4. 結(jié)果分析與討論</p><

19、p>　　4.1　四種量表測量各因素滿意度排序無顯著差異</p><p>　　以各產(chǎn)品因素的滿意度進(jìn)行比較為例，來研究四種量表的測量結(jié)果，如下為CATI訪問結(jié)果。</p><p>　　表3 各屬性的平均滿意度及排序（CATI）</p><p>　　由于四組樣本的同質(zhì)性，不同樣本組的結(jié)果具有一定的可比性。表2展現(xiàn)了不同量表所得到的結(jié)果及其排序結(jié)果，因?yàn)槔颂亓勘淼?/p>

20、級的不同，各產(chǎn)品因素的滿意度得分差異較大，等級數(shù)越高，平均滿意度得分越高，而且標(biāo)準(zhǔn)差越大。為方便比較，將結(jié)果根據(jù)各因素滿意度評分的平均值與標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化，如圖1所示。</p><p>　　各因素滿意度的評分在具體的排名上存在著差異，但是品牌、通話質(zhì)量、操作容易程度在任何一種量表中都是滿意度最高的三個。利用利用肯德爾和諧系數(shù)（Kendall coefficient of concordance，又稱肯德爾W系數(shù)）

21、對排序結(jié)果的一致性進(jìn)行了檢驗(yàn)。W值為15.5= ，差異并不顯著。</p><p><b>　　?</b></p><p>　　圖 1 標(biāo)準(zhǔn)化各因素滿意度（CATI）</p><p>　　對在線數(shù)據(jù)進(jìn)行分析，也有同樣的結(jié)果，各因素滿意度得分因?yàn)榱勘淼燃壊煌町愝^大，但是各因素滿意度得分的排序無顯著差異。即說明，雖然利克特量表的等級不同，但是它們

22、測量到的消費(fèi)者對產(chǎn)品的滿意度也保持相對的一致。</p><p>　　4.2 量表的信度、效度分析</p><p>　　信度表示一個量表對于所衡量測量特質(zhì)特征的穩(wěn)定性和可信度程度，是衡量量表質(zhì)量的重要指標(biāo)之一。由表4可以看出，無論是CATI 還是在線調(diào)查，十點(diǎn)量表的內(nèi)部一致性信度均優(yōu)于其他量表，其次是五點(diǎn)量表，再次是七點(diǎn)量表，而六點(diǎn)量表的信度水平最低。</p><p>

23、;　　表4 不同量表的內(nèi)部一致性系數(shù)а比較</p><p>　　除量表的信度之外，效度是衡量量表質(zhì)量的另一個重要指標(biāo)。通過比較了其與推薦率以及再購買可能性這兩個題目之間的相關(guān)情況，得到績效關(guān)聯(lián)效度（詳見表5）。結(jié)果表明，在CATI訪問中，六點(diǎn)量表的績效關(guān)聯(lián)效度較低；在在線調(diào)查中，不同等級量表的績效關(guān)聯(lián)效度相差不大。</p><p>　　表5 總體滿意程度的績效關(guān)聯(lián)效度</p>

24、<p>　　4.2　量表鑒別度比較</p><p>　　在市場研究中，一直以來的一個重要目標(biāo)就是盡量以較少的樣本量來獲得足夠可靠有效的數(shù)據(jù)。量表的鑒別度為在一定樣本量下使所調(diào)查的有差異的數(shù)據(jù)獲得檢驗(yàn)上顯著性的能力。一個高鑒別度的方法應(yīng)該是使用較少樣本就能夠獲得所需要的顯著性結(jié)果。而顯著性檢驗(yàn)與所比較數(shù)值的差值以及所比較數(shù)值分布的標(biāo)準(zhǔn)差有關(guān)。假設(shè)需要對a因素與b因素的滿意度得分進(jìn)行顯著性檢驗(yàn)，在兩因素方

25、差S2一致的情況下，可以進(jìn)行Z檢驗(yàn)：在同樣的顯著性程度下。</p><p>　　在本研究中，因?yàn)樗姆N量表所測量的各因素的滿意度值的差異較大，但排序基本一致，根據(jù)各因素滿意度平均分的分布轉(zhuǎn)化后標(biāo)準(zhǔn)得分基本一致。所以兩個相同的因素，在不同的量表測量中應(yīng)該有相似的標(biāo)準(zhǔn)化得分。k 為某一固定值，為屬性滿意度平均分的標(biāo)準(zhǔn)差。為簡便起見，量表得分的標(biāo)準(zhǔn)差用所有因素的標(biāo)準(zhǔn)差的平均分代替。因此。所以，兩個因素比較要獲得同樣的顯著

26、性，不同量表的樣本量應(yīng)該與的平方成正比。記為量表鑒別系數(shù)指標(biāo)，量表鑒別系數(shù)越大，所需要的樣本量越大。</p><p>　　如表6所示，要獲得同樣的鑒別力，在CATI訪問中，等級越多的量表所需要的樣本量越少。十點(diǎn)量表所需要的樣本量僅為五點(diǎn)量表的54%，七點(diǎn)量表所需樣本量為五點(diǎn)量表的74.5%，能夠節(jié)約大量的訪問成本。而在在線調(diào)查中，六點(diǎn)量表、七點(diǎn)量表與十點(diǎn)量表均能夠節(jié)約17.5%-28.5%的樣本量。</p&

27、gt;<p>　　表6　CATI和在線調(diào)查的不同等級量表的鑒別力比較</p><p>　　4.4 各量表選項(xiàng)分布特征分析</p><p>　　將所有9種屬性的滿意度分布平均起來，并且轉(zhuǎn)化為0-1的空間上標(biāo)準(zhǔn)化，如下圖所示。無論是CATI還是在線調(diào)查，四種量表的分布都呈現(xiàn)右偏分布，即總體來看，選擇高分的被訪者比較多。量表等級分布的偏態(tài)不利于數(shù)據(jù)的統(tǒng)計與分析，因?yàn)樵S多一元或多元統(tǒng)

28、計方法的前提就是樣本的正態(tài)分布，如t檢驗(yàn)、相關(guān)分析、回歸等。過高的峰度則表示數(shù)據(jù)過度集中，將影響根據(jù)被訪者反應(yīng)進(jìn)行細(xì)分的可能性，并且可能導(dǎo)致數(shù)據(jù)有效性不夠高。相對于峰度而言，偏度是對統(tǒng)計結(jié)果影響較大的因素。</p><p>　　表7 量表等級偏度峰度系數(shù)（CATI）</p><p>　　表8 等級偏度峰度系數(shù)（在線調(diào)查）</p><p>　　在兩種訪問方式中，五點(diǎn)量

29、表的偏度較小，峰度也較小，并沒有出現(xiàn)所謂的中庸，過度偏向中間選項(xiàng)的狀態(tài)，反而是比較集中于比較滿意這一選項(xiàng)，這也可能與滿意度研究本身的特征有關(guān)。僅僅從正態(tài)性來說是五點(diǎn)量表是在CATI以及在線調(diào)查中都比較合適的量表。</p><p>　　六點(diǎn)量表在CATI訪問中偏度最大，在在線調(diào)查中，偏度也較大，僅次于十點(diǎn)量表。從正態(tài)性角度出發(fā)，六點(diǎn)是不太適用的量表。</p><p>　　七點(diǎn)量表的偏度較小，

30、而且峰度也較小，尤其是在可以看到選項(xiàng)的在線調(diào)查中正態(tài)性非常好。但是七點(diǎn)量表非常不符合中國人的理解習(xí)慣，在CATI訪問中，從分布圖可以看出，七點(diǎn)量表出現(xiàn)了明顯的雙峰狀態(tài)，在4和7的位置上僅有很少的頻數(shù)，這可能是因?yàn)樵跓o法看到選項(xiàng)時，人們難以用4位和7位的量級來回答問題。而在能夠看到選項(xiàng)的在線調(diào)查中，被訪者能夠根據(jù)量表等級作出比較合理的反應(yīng)。</p><p>　　十點(diǎn)量表的偏度很高，這可能是由于只有很少一部分被訪者選

31、擇1-4而造成的。在CATI和在線訪問中，選擇1-4的比例不超過5%。</p><p>　　4.5 十點(diǎn)量表的修正能夠有效提高數(shù)據(jù)分析</p><p>　　由前面的分析可以看出，無論是在信度方面，還是效度方面，十點(diǎn)量表均具有比較穩(wěn)定的優(yōu)越性，但在分布方面卻存在較大的偏態(tài)性，為此需要對其進(jìn)行修正。應(yīng)用Option-Keyed方法，將不符合正態(tài)分布的部分進(jìn)行一些重新賦值。具體而言，十點(diǎn)量表在1

32、-4分段偏態(tài)嚴(yán)重，根據(jù)模糊數(shù)學(xué)原理，把1—4分定義為模糊的不滿意分?jǐn)?shù)，全部賦值為4分，因此形成一個4-10分的新量表。修正后的量表結(jié)果見表9。</p><p>　　表9 10點(diǎn)量表的修正結(jié)果比較</p><p>　　由上表可以看出，經(jīng)過Option-Keyed修正后的十點(diǎn)量表的正態(tài)性有了大幅的提高，已經(jīng)接近5點(diǎn)量表的水平。與此同時，量表的均值、信度、效度、鑒別力都沒有大的變化。通過修正

33、前與修正后的對比，9因素的滿意度的評分均值的絕對值改變不足1%，相關(guān)系數(shù)達(dá)到99.8%以上。所以O(shè)ption-keyed 修訂十點(diǎn)量表將在不改變結(jié)果的情況下，大大改善量表的正態(tài)性，有助于進(jìn)行進(jìn)一步的統(tǒng)計分析。</p><p><b>　　5結(jié)論</b></p><p>　　根據(jù)以上研究結(jié)果，可以得出以下結(jié)論：不同利克特量表的應(yīng)用雖然不會給直接的統(tǒng)計結(jié)果帶來明顯差異，但

34、是量表等級越多，鑒別力就越高，同樣樣本下可以得到更準(zhǔn)確的結(jié)果或者反過來可以節(jié)約樣本量。</p><p>　　一般來說，在能夠看到選項(xiàng)的訪問中，如在線調(diào)查或者紙筆調(diào)查，適用10點(diǎn)量表或7點(diǎn)量表；在不能夠看到選項(xiàng)的訪問中，主要指CATI，適用10點(diǎn)量表或者5點(diǎn)量表。對10點(diǎn)量表采用Opion-keyed修正，將1-4點(diǎn)統(tǒng)一賦分為4將大大提高量表的正態(tài)性從而有助于其他統(tǒng)計分析。</p><p>

35、　　本次研究以滿意度研究為具體研究問題，研究結(jié)果在推論到其他問題類型時可能會稍有不同，需要研究者在考慮實(shí)際情況的基礎(chǔ)上，合理的選擇利克特量表的等級數(shù)。</p><p><b>　　參考文獻(xiàn)</b></p><p>　　1.　　張厚粲徐建平. （2003）現(xiàn)代心理與教育統(tǒng)計學(xué)北京師范大學(xué)出版社</p><p>　　2.　　鄭日昌（1999）心理測

36、量學(xué). 人民教育出版社</p><p>　　3.　　程金剛. （1998）　評定量表中的評定等級數(shù)與測驗(yàn)的因素結(jié)構(gòu)及信度的關(guān)系.　碩士學(xué)位論文</p><p>　　4.　　Christian Jensen， John Tøndering. （2005） Perceived prominence and scale types，Proceedings， FONETIK.</p

37、><p>　　5.　　Bending，A.W. （1954） Reliability and the number of rating scale categories. The Journal of Applied Psychology. 38（1）， 38-40.</p><p>　　6.　　Cicchetti，D.V， Showalter，D. & Tyrer， P.J. （19

38、85） The effect of number of rating scale categories in levels of interater raliability. Applied Psychological Measurement. 9， 31-36.</p><p>　　7.　　Matell， M.S. & Jacoby， J. （1972） Is there an optimal numb

39、er of alternatives for Likert-scale iterms？ Journal of Applied Psychology. 56（6）， 506-509.</p><p>　　8.　　Symonds， P.M. （1924） On the loss of reliability in ratings due to coarseness of the scale. Journal of E

40、xperimental Psychology. 7， 456–461.</p><p>　　9.　　Nunnally， J. （1967） Psychometric theory　New York： McGraw-Hill</p><p>　　10.　　Finn， R.H. （1972）　Effects of Some Variations in Rating Scale Characte

41、ristics on the Means and Reliabilities of Ratings. Journal of Educational and Psychological Measurement， 32， 255-265.</p><p>　　11.　　Peabody， D. （1962） Two components in psychological scales： direction and ex

42、tremeness. Psychological Review，69， 65-73.</p><p>　　12.　　Boote， A.S. （1981） Reliability testing of psychographic scales： Five-point or sevenpoint？ Anchored or labeled？ Journal of Advertising Research， 21（5），

43、 53-60.</p><p>　　13.　　Brown， G.， Widing， R.E.， & Coulter， R.L. （1991） Customer Evaluation of Retail Salespeople Utilizing the SOCO Scale： A Replication， Extension and Application. Journal of the Academy

44、of Marketing Science， 19（4）， 347-351.</p><p>　　14.　　Joel， L， Melissa I.G， Tamar， B.， & Linda D. （1999） Dimensions of Biodata items and their relationships to item validity. Journal of Occupational and Or

45、ganizational Psychology， 72， 331-350</p><p>　　15.　　Avraham， N.K.， Richard， R.R.， Craig， J.R. （1991） Faking Biodata Test： Are Option-keyed Instruments More Resistant？ Journal of Applied Psychology， 76（6）， 889