非參數(shù)統(tǒng)計--第3章第四版

1、第三章 兩樣本位置檢驗,第一節(jié) Brown-Mood中位數(shù)檢驗,在單樣本位置問題中，人們想要檢驗的是總體的中心是否等于一個已知的值．但在實際問題中，更受注意的往往是比較兩個總體的位置參數(shù)；比如。兩種訓(xùn)練方法中哪一種更出成績，兩種汽油中哪一個污染更少，兩種市場營銷策略中哪種更有效，兩種藥物中哪種更有效……,傳統(tǒng)上，人們假設(shè)總體是正態(tài)分布或近似的正態(tài)分布，然后利用兩樣本的T檢驗。但是關(guān)于總體是正態(tài)的假設(shè)并不一定合理。在小樣本時，近似也不一

2、定合適。本章的目標就是在對總體不作任何分布假設(shè)的前提下，解決兩樣本檢驗問題。,兩樣本位置檢驗,例3.1 (數(shù)據(jù)：salary.txt, salary.sav)我國兩個地區(qū)一些(分別為17個和15個)城鎮(zhèn)職工的工資(元)：地區(qū)1：6864 7304 7477 7779 7895 8348 8461 9553 9919 10073 10270 11581 13472 13600 13962 15019 17244 地區(qū)2：10276 1

3、0533 10633 10837 11209 11393 11864 12040 12642 12675 13199 13683 14049 14061 16079 人們想要知道這二個地區(qū)城鎮(zhèn)職工工資的中位數(shù)是否一樣，這就是檢驗二個獨立總體的位置參數(shù)是否相等的問題。,Brown-Mood中位數(shù)檢驗,檢驗原理：在零假設(shè)成立時，中位數(shù)如果一樣的話，它們共同的中位數(shù)，即這(15+17=)32個數(shù)的樣本中位數(shù)(記為MXY)。也就是說，在X1,

4、 X2, … ,X17或在Y1, Y2, … ,Y15 的二個樣本中，大于或小于混合后的中位數(shù)MXY的樣本點應(yīng)該大致一樣多。容易算得MXY =11301 ，在用兩個樣本和MXY比較之后得到各個樣本中大于和小于它的數(shù)目(見下表),假設(shè)(X1, X2, … ,Xm)~X， (Y1, Y2, … ,Yn)~Y，地區(qū)1樣本數(shù)據(jù)所代表的總體中位數(shù)為 ，而地區(qū)2的為,,這里如果有和MXY相同的觀測值，可以去掉它，也可以隨機地把這些相等的值

5、放到大于或小于MXY的群中以使得檢驗略微保守一些。就本例來說，二個樣本的中位數(shù)不很相同，如何做正式的檢驗?zāi)?？可以看出上表是一個2×2的列聯(lián)表，由初等概率可知，對于一般的2×2列聯(lián)表,,,令A(yù)表示列聯(lián)表中左上角取值a的X 樣本中大于的變量，在m、n及t固定時，A的分布在零假設(shè)下為超幾何分布(對于不超過m的k),,現(xiàn)在可以用上面A的分布，直接進行前面所提的單邊檢驗 。在給定

6、m，n和t的時候，如果A的值a太大或太小時就應(yīng)該懷疑零假設(shè)。下表列出了Brown-Mood中位數(shù)檢驗的基本內(nèi)容。,計算,檢驗基本內(nèi)容,,,,,,,,,,,,,P-值,檢驗統(tǒng)計量,,,,,,,,,,,,,,,,,,,,,,,,,,,對于水平 ，如果p-值小于 ，那么拒絕零假設(shè) ，否則不能拒絕。在m≠n時因A不對稱，雙邊檢驗結(jié)果不那么理想。,例題3.1的解法,在例3.1中，a=6，b=10，m=17，n=15用備擇假設(shè)

7、 作單邊檢驗時，可以根據(jù)R軟件超幾何分布的語句phyper(6,17,15,16)，即p值=P(A≤a)等于phyper(a,m,n,a+b)，得到p值為P(A≤a)=P(A≤6)= 0.07780674。根據(jù)這個p值，無法對常用的顯著性水平0.05來拒絕零假設(shè)。對于二個方差差不多相等的正態(tài)總體，該檢驗相對于t檢驗的ARE為2/π=0.637．顯然，它和單樣本情況的符號檢驗同屬一類。這個檢驗為一般列聯(lián)

8、表的Fisher精確檢驗在2×2表情況的特例。如果用C表示上面表中的矩陣 那么，可以用R軟件的函數(shù)fisher.test(C,alt=〃less〃)得到和上面兩樣的p值。,,可以看出，前面2×2表中a較大等價于m－a較小，b較大等價于n－b較小，也就是說，根據(jù)形成2×2表時的對稱性(即行列可互換，行間及列間可互換)，用a,b, m－a, n－b的任何一個數(shù)目都可以根據(jù)超幾何分布語句得到p

9、值。,檢驗的大樣本近似,,,,,在零假設(shè)下，在大樣本情況時，可以使用檢驗統(tǒng)計量所服從超幾何分布的正態(tài)近似進行檢驗(包括連續(xù)性的修正)：研究表明，該近似在min(m,n)≥12時相當精確。另外，在雙邊檢驗時，對于大樣本情況，可以用Pearson卡方檢驗統(tǒng)計量來進行檢驗，它有近似的自由度為1的卡方分布。,,另外如果X和Y+θ有同樣的分布，可求得置信區(qū)間為：,其中c和c’滿足：,第二節(jié) Wilcoxon (Mann-Whitney

10、) 秩和檢驗,,,,,,在前面一節(jié)，比較兩個總體的中位數(shù)的檢驗時，只利用了樣本大于或小于共同中位數(shù)的數(shù)目，如同前面的單獨符號秩檢驗一樣，只有方向的信息，沒有差異大小的信息。作為單樣本的Wilcoxon秩和檢驗的推廣，下面我們討論兩個樣本的Wilcoxon秩和檢驗。,,,,,,,為了對假設(shè)作出判定， 把樣本X1, X2, … ,Xm 和Y1, Y2, … ,Yn 混合起來，這m+n＝N個觀察值按照從小到大排列起來，這樣每一個Y的觀測值在混

11、合排列中都有自己的秩，令Ri為在Yi這N個數(shù)中的秩(即Yi是第Ri小的)。顯然，如果這些秩的和 很小，則Y樣本的值偏小，可以懷疑零假設(shè)。同樣，對于X的樣本也可以得到其樣本點在混合樣本中的秩之和WX 。人們稱WY或WX為Wilcoxon秩和統(tǒng)計量，該統(tǒng)計量是由Wilconxon于1945年提出的。,,,,,,另一種等價的統(tǒng)計量,Mann-Whitney與1947年提出了另一種檢驗量WXY和WYX 。這里定

12、義 WXY為所有X 觀察值在混合樣本中超過Y 觀察值的個數(shù)， WYX為所有Y 觀察值在混合樣本中大于X 觀察值的個數(shù)，W為WXY和WYX中較小者，即 。若H0成立， WXY和WYX的差別不會很大， W不會太小。如果W很小，我們就有理由懷疑H0 。實際上，檢驗統(tǒng)計量WY、WX和W等價，二者之間只是一個線性變換關(guān)系，一般將其統(tǒng)稱為Wilconxon-Mann-Whitney統(tǒng)計量。,,,,m=n=

13、2情形下統(tǒng)計量的可能取值,Ri為Yi在N=n+m 個數(shù)中的秩, 且有：,性質(zhì)和檢驗,定理4.2 在零假設(shè)下：若 ，且 ，時：,在檢驗時 ， ，，其中a，b值由前面定理確定。對于打結(jié)的情況需要使用修正的公式。,大樣本(m,n大于10)，用正態(tài)近似,如有打結(jié) (打結(jié)的情況超過全部數(shù)據(jù)的1/5時)，對Z應(yīng)修正為：在例3.1中，地

14、區(qū)1(m=17)和地區(qū)2(n=15)的秩和分別為WY=306，WX=222（見P66），并由此計算WXY=WY-n(n+1)/2=186，WYX=69。,,對于H1:MX<MY ，p值為0.01352166，因此，對于α=0.05的顯著性水平，可以拒絕零假設(shè)。這個結(jié)論比第一節(jié)（ p值為0.07780674）的中位數(shù)檢驗有效。關(guān)于Wilcoxon秩和檢驗(Mann-Whitney檢驗)總結(jié)如下：,,3.2.2 MX-MY的點估計和

15、區(qū)間估計MX-MY的點估計就是X和Y觀察值成對相減后的中位數(shù)(共有mn對)。例4.1的MX-MY的點估計為-2479.求MX-MY的(1-α)置信區(qū)間的步驟為：(1)得到所有mn個差額Xi-Yj；(2)記按升序排列的差為D1,…, DN(N=mn)；(3)從表中查出Wα/2，它滿足P(WXY ≤ Wα/2)= α/2 。則所要的置信區(qū)間為(D Wα/2，D mn+1-Wα/2)例4.1的Dα/2=76，置信區(qū)間為(D 76

16、, D 255+1-76)=(-3916，-263)。,第四節(jié) 成對數(shù)據(jù)的檢驗,,要使比較有意義,必須要假定:(1)每一對數(shù)據(jù)或者來自同一個或者可比較的類似對象;(2)對和對之間是獨立; (3)都是連續(xù)變量.設(shè) 為對子之間的差的中位數(shù),則檢驗為:,,例4.2 有10個病人在進行了某種藥物治療的前后的血壓為:問題:該藥物是否有效?這里要檢驗的是Di的中位數(shù)MD是否大于MD0 =0?？赡艽蠹乙呀?jīng)看到問題

17、到這一步就和前面的單單樣本問題完全一樣了。,,現(xiàn)在只需要用符號檢驗或Wilcoxon符號秩檢驗即可。就本例子而言，因為X觀測值看來比Y的要大，應(yīng)檢驗： 。這里先利用Wilcoxon符號秩檢驗，下表給出了上面的對子之差及它們的符號和相應(yīng)的秩。,,容易算出，正符號的秩之和為 ，而負符號的秩之和為 。故選檢驗統(tǒng)計

18、量 ，得到p值為0.01367188，由此可以在顯著性水平α大于0.014時拒絕零假設(shè)。在用正態(tài)近似時，得到p值為0.01616。雖然樣本不大，但是對此例，兩個結(jié)果差得不太多。如果用符號檢驗，也會有類似的結(jié)論。,3.5 McNemar檢驗,實踐中有很對配對二元取值數(shù)據(jù)，如下例,例3.3（數(shù)據(jù)：athletefootp.txt，athletefootp.sav）某藥廠想比較A和B兩種治療腳癬的療效.實驗中有

19、40個病人，每人在左腳和右腳上分別使用A和B兩種藥.下面是腳癬是否治愈的數(shù)據(jù)（1為治愈，0為沒治愈）,McNemar檢驗,將上面數(shù)據(jù)寫成列聯(lián)表形式，有如下表,,McNemar檢驗,,,McNemar檢驗,,3.6 Cohen’s Kappa系數(shù),Cohen’s Kappa系數(shù)由Cohen（1960）提出，是度量兩位評估者之間評估一致性的指標.先看一個簡單的例子例3.4 （數(shù)據(jù)：music.txt，music.sav）兩位評委給參加