研究生應(yīng)用數(shù)理統(tǒng)計方差分析

1、,,,,? 方差分析概述,方差分析,? 單因子方差分析,? 雙因子方差分析,? 多元方差分析,Analysis of Variance ，ANOVA,方差分析是重要的、應(yīng)用廣泛的實驗數(shù)據(jù)統(tǒng)計分析,方法，其實質(zhì)是檢驗多個變量均值的一致性.,1. 方差分析概述,ANOVA 由英國統(tǒng)計學(xué)家 R.A.Fisher 首創(chuàng).,為紀(jì)念 Fisher，方差分析又稱 F 檢驗 .,? 方差分析的幾個基本概念,如原料成分、原料劑量、催化劑、反應(yīng)時間、設(shè)備

2、等.,— 試驗中對因子的不同處理或所處的狀態(tài).,試驗指標(biāo),— 試驗所考察的事項，亦稱響應(yīng)變量.,如考察化工生產(chǎn)中產(chǎn)品的質(zhì)量、數(shù)量.,試驗因子,— 影響試驗指標(biāo)的因素.,因子水平,依據(jù)實驗數(shù)據(jù)，判斷在因子的不同處理下響應(yīng)變量是,回答這一類問題的基本方法，就是比較每一種處理下,響應(yīng)變量的均值是否相等.,? 方差分析的工作目標(biāo),否有差異？,單因子方差分析,雙因子方差分析,多元方差分析,— 單指標(biāo)、單因子、多因子水平的實驗數(shù)據(jù)分析.,— 單指標(biāo)

3、、雙因子、多因子水平的實驗數(shù)據(jù)分析.,— 多指標(biāo)、單因子、多因子水平的實驗數(shù)據(jù)分析.,常用不同的英文大寫字母表示試驗因子，用大寫字母,加下標(biāo)表示該因子的不同水平.,例1 一位英語教師想檢查 3 種不同教學(xué)方法的效果，,為此隨機選取 24 位學(xué)生并把他們分成 3 組，相應(yīng)用三種方,績?nèi)绫?1.,性差異？,表1 英語成績表,法教學(xué).一段時間后教師對這 24 位學(xué)生進行統(tǒng)考，統(tǒng)考成,試問在 0.05 顯著性水平下，這三種教學(xué)方法有無顯著,英語

4、成績是否有顯著影響.若有影響，哪一種教學(xué)方法好？,同的變量.,分析 問題是判斷教師所采用的不同教學(xué)方法對學(xué)生,方差分析中將因子的各個水平下的試驗指標(biāo)看作是不,響應(yīng)變量 — 英語成績.,影響因子 — 教學(xué)方法，記為 A .,因子水平 — 教學(xué)方法的三種處理，記為 A1 , A2 , A3 .,通常假定每一個變量服從方差相等的正態(tài)分布，并且,? 方差分析的三個基本的理論假設(shè),是相互獨立的.,顯然，這是一個單因子方差分析問題.,如三種教學(xué)方法

5、下的英語成績 y1, y2, y3 .,? 條件誤差 —由因子的不同處理(三種不同的教學(xué),? 隨機誤差 —由隨機因素(不可控制或不可預(yù)知的,因素，如考試時的環(huán)境、時間對學(xué)生的影響)引起的差異.,異，按 Fisher 的思路可以通過分析造成成績數(shù)據(jù)差異的原,判斷不同的教學(xué)方法對英語成績的影響是否有顯著差,? 方差分析的基本思路,實驗數(shù)據(jù)（英語成績）差異的來源：,因來得到答案.,方法)引起的差異.,總偏差平方和 = 條件誤差平方和 + 隨機

6、誤差平方和,在總偏差平方和中，條件誤差平方和與隨機誤差平方和,如果是條件誤差平方和是決定性的，則說明因子的不同,因子的不同處理對響應(yīng)變量的影響是否有差異，可以用,差平方和按照產(chǎn)生的原因進行分解，得到：,方差分析中的一個最基本的關(guān)系式，就是將數(shù)據(jù)總的偏,實驗數(shù)據(jù)之間的差異可用 偏差平方和 的概念描述.,方差分析的任務(wù)就是進一步判斷：,究竟哪一個是決定性的（占更大的比重）？,處理對響應(yīng)變量的影響是有差異的.,不同處理下響應(yīng)變量的均值是否相同

7、來描述.,? 方差分析基本任務(wù)的統(tǒng)計描述,判斷不同處理下響應(yīng)變量的均值是否相同，可歸結(jié)為,統(tǒng)計推斷問題，即檢驗假設(shè),H0 : 不同處理下響應(yīng)變量的均值相同;,H1 : 不同處理下響應(yīng)變量的均值不完全相同.,? 當(dāng)前的問題是否滿足三個基本的理論假設(shè)；,圍繞 H0 的檢驗，應(yīng)思考并解決如下三個方面的問題：,? 若拒絕 H0 ，如何找出因子的最優(yōu)處理？,? 檢驗統(tǒng)計量的構(gòu)造與分布是怎樣的？如何決策？,2.1 單因子方差分析統(tǒng)計模型及檢驗

8、方法,? 單因子方差分析統(tǒng)計模型,在單因子試驗中，設(shè)因子 A 有 r 個水平，第 i 個水平,2. 單因子方差分析,Ai 下響應(yīng)變量 yi 的均值為μi ，其容量為 mi 的一個樣本數(shù),于是，單因子方差分析的統(tǒng)計模型為：,據(jù)為,檢驗假設(shè),記,于是，單因子方差分析的統(tǒng)計模型可改寫為:,顯然,檢驗假設(shè),— Ai 的（主）效應(yīng),— 響應(yīng)變量的總均值,— 樣本總?cè)萘?? 檢驗統(tǒng)計量的構(gòu)造與分布,—總偏差平方和,—變量 yi 的均值,—樣本總均值

9、,記,— SST 的自由度,SSE 反映組內(nèi)數(shù)據(jù)的隨機誤差.,—誤差偏差平方和,—因子偏差平方和,SSA 反映組間由效應(yīng)不同引起的數(shù)據(jù)差異.,— SSA 的自由度,— SSE 的自由度,SST = SSA + SSE ( SSE = SST – SSA ).,在單因素方差分析模型中，對上述定義的三個偏差,平方和 SST，SSE，SSA，有下面的定理：,⑴ 平方和分解定理,⑵ SSE的分布定理,⑶ SSA的分布定理 當(dāng)假設(shè) H0 為

10、真時，有,?,?,?,?,?,因此，可采用統(tǒng)計量 F 來檢驗假設(shè) H0，拒絕域為,拒絕假設(shè) H0 的最小顯著性概率為,? SSA與 SSE 相互獨立 .,⑷ 檢驗統(tǒng)計量及其分布定理 當(dāng)假設(shè) H0 為真時，有,顯然，檢驗假設(shè) H0 不真時，SSA 會變得偏大. 但是,數(shù)附近）. 因此，統(tǒng)計量 F 的值偏大不利于 H0 .,無論 H0 真否，SSE/(n-r) 都是σ2 的無偏估計（穩(wěn)定在常,,,表2 單因子方差分析表,? 檢驗的步驟

11、與結(jié)果的報告,其中，計算可按下列順序進行：,?,?,?,?,?,?,? MATLAB系統(tǒng)的單因素方差分析函數(shù),當(dāng)在因子 A 的每一水平下重復(fù)試驗次數(shù)相同時，即當(dāng),時，可由 MATLAB 系統(tǒng)提供的 anova1 函數(shù)進行單因素方,差分析.,調(diào)用方法,[p，anovatab，stats]=anova1(X，group，'displayopt'),輸入?yún)?shù)說明,X — 表示樣本點×變量型的觀測值的 m×

12、r 矩陣.,,group — 是表示r個變量意義的字符串?dāng)?shù)組，可缺省.,輸出參數(shù)說明,隱藏，有兩個取值：on（顯示）和 off（隱藏）.,displayopt — 控制方差分析表圖形和 Box 圖的顯示和,stats — 返回若干個相關(guān)統(tǒng)計量的值，可缺省.,p — 返回 X 的各列均值相等的最小顯著性概率.,anovatab — 返回單因素方差分析表.,2.2 否定 H0 之后的延伸分析,? 模型標(biāo)準(zhǔn)誤差與因子效應(yīng)的估計,

13、⑴ 模型標(biāo)準(zhǔn)誤差的點估計定理,⑵ 因子效應(yīng)的估計定理,? μi 的置信水平為 1-α 的置信區(qū)間,? 因子效應(yīng)的點估計,? 因子效應(yīng)的多重比較,對任意兩個水平均值之間有無顯著差異進行多重比較，,檢驗的統(tǒng)計量為,即同時檢驗以下 假設(shè),,對于給定的檢驗水平α ，當(dāng),,時拒絕 .,LSD 方法 .,實際應(yīng)用中，多重比較的操作常采用 Fisher 提出的,? 計算水平 i 和 j 均值μi 與μj 的最小顯著差異值,? 逐一比較

14、，當(dāng),時，認為均值μi 與μj 不同 .,實際應(yīng)用中，可根據(jù)多重比較和因子效應(yīng)的估計篩選,出因子的最優(yōu)處理 .,2.3 方差分析前的模型適應(yīng)性分析,在進行方差分析之前，通常應(yīng)進行模型的適應(yīng)性分析，,即檢驗當(dāng)前的樣本數(shù)據(jù)是否滿足單因子方差分析統(tǒng)計模型,的三個基本的理論檢驗 .,? 正態(tài)性檢驗 —正態(tài)概率紙檢驗法,還能夠粗略地估計出分布的數(shù)字特征.,正態(tài)概率紙是一種現(xiàn)場統(tǒng)計常用的判斷變量正態(tài)性的,簡單工具，使用它可以很快的判斷變量是否

15、服從正態(tài)分布，,正態(tài)概率紙的構(gòu)造原理:,設(shè)變量 X 的分布函數(shù)為 F(x) , 需要檢驗,在原假設(shè) H0 成立時，,Φ(x) 是標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù) ,其中,并且,,在標(biāo)準(zhǔn)(單位長度相等)直角坐標(biāo)平面 xou 上，函數(shù),的圖象是一條直線，過點(μ,0) ，斜率為 1/σ.,為使這條直線能夠直觀的解釋變量的取值 x 與概率,P(X≤x) 之間的關(guān)系，進行如下坐標(biāo)刻度更新：,在標(biāo)準(zhǔn)直角坐標(biāo)平面 xou 上，保持橫軸上 x 的刻度,不變，而

16、把縱軸上 u 的刻度更新為 y=100Φ(x) ，并規(guī)定,100Φ(-∞)= 0 ， 100Φ(+∞)=100 ，,這樣就將直角坐標(biāo)系 xou 更新為直角坐標(biāo)系 xoy .,由于 y 軸上的刻度 0 與 100 分別對應(yīng) u 軸上的-∞和,+∞，因此 y 軸上無法標(biāo)示出 0 與 100 ，一般軸上的刻度,稱以 xoy 為刻度體系的坐標(biāo)紙為正態(tài)概率紙.,根據(jù)正態(tài)概率紙的構(gòu)造原理可知，在 xou 直角坐標(biāo),系中的 x 和 u 的關(guān)系,在 x

17、oy 直角坐標(biāo)系中的成為 x 和 y 的關(guān)系,標(biāo)示限于 0.01 到 99.99 之間.,反之亦然.,對于正態(tài)概率紙上的一條直線，若該直線能表示為,則,,是一個正態(tài)分布的分布函數(shù).,所組成的集合，與全體正態(tài)分布所組成的正態(tài)分布族之間，,這表明，正態(tài)概率紙上斜率存在且大于零的全體直線,存在一一對應(yīng)關(guān)系.,下面介紹正態(tài)概率紙檢驗法及其 MATLAB 實現(xiàn).,為了檢驗假設(shè) H0 ,設(shè),,求出經(jīng)驗分布函數(shù) Fn(x)，然后在正態(tài)概率紙描出點列,

18、,,當(dāng) H0 為真時，在正態(tài)概率紙上該點列應(yīng)該近似地,否則，認為 H0 不成立，即變量 X 不服從正態(tài)分布.,MATLAB提供了利用正態(tài)概率紙檢驗變量正態(tài)性的繪,在一條直線附近.,圖函數(shù) normplot，其調(diào)用格式為 normplot( x ) ，輸入?yún)?shù),x 是樣本數(shù)據(jù)向量.,? 方差齊性檢驗,方差齊性檢驗的假設(shè)為,方差齊性通常采用 Bartlett 檢驗方法.,檢驗統(tǒng)計量,在顯著性水平α下，拒絕域為,? 獨立性檢驗,當(dāng)樣本容量較小

19、時，沒有較好的檢驗方法，通常根據(jù),檢驗法對方差齊性和獨立性進行同步檢驗.,當(dāng)正態(tài)性檢驗獲得通過，樣本容量較大時，可用球性,采樣操作的情形對獨立性進行直觀判斷.,感興趣的同學(xué)可參閱高惠璇編著《應(yīng)用多元統(tǒng)計分析》,第3.4節(jié)（北京大學(xué)出版社，2005）.,下面，對單因子方差分析的應(yīng)用步驟小結(jié)如下：,⑴ 模型適應(yīng)性分析,? 獨立性分析,⑵ 方差分析,⑶ 延伸分析,? 多重比較,? 模型標(biāo)準(zhǔn)誤差和因子效應(yīng)的估計,單因子方差分析應(yīng)用舉例,? 正態(tài)

20、性檢驗,? 方差齊性檢驗,問題 若模型適應(yīng)性分析未能通過，是否不能繼續(xù)后面的步驟 ⑵ ？,回答 可以繼續(xù)步驟 ⑵ . 有研究表明，F(xiàn)統(tǒng)計量的穩(wěn)健性強，即使⑴中三項中的?或?檢驗未能通過，只要有較好的獨立性，F(xiàn)檢驗仍有較好的效力，但需要注意模型標(biāo)準(zhǔn)誤差會有所提高.,3.1 無交互作用的雙因子方差分析,設(shè) A 與 B 是對試驗指標(biāo)有影響的兩個因子，判斷因子,設(shè)因子A 有 r 個水平，因子 B 有 s 個水平，現(xiàn)對因子,個處理.,3

21、. 雙因子方差分析,的不同處理對試驗指標(biāo)的影響是否有顯著差異？,雙因子方差分析方法的特殊效力在于分析者可以考慮,兩個因子之間的交互作用對試驗指標(biāo)的影響.,A、B 的不同水平的每種組合下進行試驗或抽樣，共 r×s,假定兩個因子之間的不存在交互作用.,在因子間交互作用的情形下，可對因子水平的每個組,合 (Ai , Bj ) 僅安排一次試驗來獲取試驗指標(biāo) yij 的測量值.,無交互作用的雙因子方差分析的數(shù)據(jù)結(jié)構(gòu)如下：,? 數(shù)據(jù)結(jié)構(gòu),

22、記,— Ai 的（主）效應(yīng).,— Bj 的（主）效應(yīng).,顯然,? 統(tǒng)計模型與檢驗假設(shè),檢驗假設(shè),于是，無交互作用的雙因子方差分析的統(tǒng)計模型為,,,檢驗統(tǒng)計量的構(gòu)造思想方法類似于單因子方差分析.,? 檢驗統(tǒng)計量的構(gòu)造與分布,—總偏差平方和,—因子水平 Ai 的樣本均值,—樣本總均值,記,— SST 的自由度,—因子水平 Bj 的樣本均值,SSE 反映組內(nèi)數(shù)據(jù)的隨機誤差.,—誤差偏差平方和,—因子 A 的偏差平方和,SSA 和 SSB 反映

23、組間由效應(yīng)不同引起的數(shù)據(jù)差異.,— SSA 的自由度,— SSE 的自由度,—因子 B 的偏差平方和,— SSB 的自由度,⑴ 平方和分解定理,⑵ 平方和分布定理,?,?,?,在無交互作用的雙因子方差分析模型中，有如下定理：,?,⑶ 檢驗統(tǒng)計量的分布定理,?,?,? 檢驗的決策準(zhǔn)則,?,?,,,,通常用無交互作用的雙因子方差分析表報告檢驗結(jié)果.,? 檢驗結(jié)果的報告,無交互作用的雙因子方差分析表,3.2 有交互作用的雙因子方差分析,引

24、例 交互作用的直觀解釋,兩種不同類型的化肥，如果同時施用時，總作用等于分別施用時的作用之和，說明沒有交互作用；如果總作用大于（或小于）分別施用時的作用之和，說明有正的（或負的）交互作用。,例如在四塊面積相同的大豆實驗田上，用四種不同的方式施肥，其中 因子1：磷肥（兩種水平，i=1,2） 因子2：氨肥 （兩種水平，j=1,2）實驗數(shù)據(jù)如下表：,不施氨肥，單獨施加磷肥增產(chǎn) 50斤；不施磷肥，單獨施加氨肥增

25、產(chǎn) 30斤；同時施加磷肥和氨肥總作用160，大于各自的分作用之和，所以有交互作用。,,,,,,的這種情況下，數(shù)據(jù)結(jié)構(gòu)如下表：,3.2 有交互作用的雙因子方差分析,所謂交互作用，就是因素之間的聯(lián)合搭配作用對實驗,結(jié)果產(chǎn)生了影響. 一般的在有重復(fù)實驗的雙因子方差分析,記,— Ai 的（主）效應(yīng).,— Bj 的（主）效應(yīng).,顯然,? 統(tǒng)計模型與檢驗假設(shè),—Ai和Bj的交互效應(yīng).,于是，交互作用的雙因子方差分析的統(tǒng)計模型為,,H03 即 A

26、 與 B 的交互效應(yīng)對試驗指標(biāo)影響不顯著.,,在給定的顯著性水平α下，檢驗如下統(tǒng)計假設(shè)：,有交互作用的雙因子方差分析表,其中,的原假設(shè).,或者由檢驗的最小顯著性概率 p 作出決策，當(dāng) p <α?xí)r,當(dāng)計算出 F 的值大于給定α的臨界值時，則拒絕相應(yīng),檢驗準(zhǔn)則是:,拒絕相應(yīng)的原假設(shè).,對于雙因素方差分析的問題的處理，MATLAB提供了,命令 anova2，其調(diào)用格式為,[p，table]=anova2(X，reps，'disp

27、layopt'),這個命令和anoval()類似，只是輸入矩陣X的行、列各,表示一個因子，不同的行（列）表示該因子不同處理下的,響應(yīng)變量的觀測值向量.每一個“行與列的偶對”稱為一個,數(shù)據(jù)單元，如果各數(shù)據(jù)單元擁有多于一個的觀測點，則參,數(shù)reps聲明每一個單元觀測點的數(shù)目.,,行因子有三種不同處理，列因子有兩種不同處理，每個數(shù),據(jù)單元不同數(shù)據(jù)標(biāo)號（變動的下標(biāo)）個數(shù)為2，則reps＝2,（亦即每個數(shù)據(jù)單元行數(shù)與列數(shù)的較大者）.輸出參

28、數(shù)p是,檢驗列和行及其交互作用均值相等的最小顯著性概率.,雙因子方差分析應(yīng)用舉例,如在下面的矩陣中，,4. 多元方差分析,設(shè)在試驗中同時考察 p 個指標(biāo)（響應(yīng)變量），A 是,對每一個試驗指標(biāo)均可能有影響的因子，假定在實驗中對,因子 A 進行了 k 個不同的處理（水平），需要判斷這 k 個,此類問題通常稱為單因子多指標(biāo)試驗，對因子水平,不同的處理對試驗指標(biāo)的影響是否由顯著差異？,差異的顯著性分析稱為多元方差分析.,? 多元方差分析的統(tǒng)計模

29、型,檢驗假設(shè),? 多元方差分析的檢驗方法,由多元方差分析的統(tǒng)計模型，第 i 種因子處理下響應(yīng),變量的數(shù)據(jù)矩陣為,上構(gòu)造出 Λ 統(tǒng)計量.,檢驗統(tǒng)計量的構(gòu)造思路類似與單因子方差分析中 F 統(tǒng),計量的構(gòu)造，這里是對總離差矩陣進行分解，并在此基礎(chǔ),下面檢驗統(tǒng)計量的構(gòu)造及相關(guān)定理.,記,則,進而,? 組內(nèi)離差矩陣的分布定理,Wishart分布,其中,第i 組數(shù)據(jù)的隨機離差矩陣,樣本總?cè)萘?組內(nèi)離差矩陣,? 組間離差矩陣的分布定理,記,則在 H0