統(tǒng)計學(xué)第六版賈俊平12章

1、第 12 章 多元線性回歸,第12章 多元線性回歸,12.1 多元線性回歸模型 12.2 回歸方程的擬合優(yōu)度12.3 顯著性檢驗12.4 多重共線性12.5 利用回歸方程進行估計和預(yù)測12.6 虛擬自變量的回歸,學(xué)習(xí)目標,1.回歸模型、回歸方程、估計的回歸方程2.回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗多重共線性問題及其處理利用回歸方程進行估計和預(yù)測虛擬自變量的回歸問題用 Exce

2、l 進行回歸分析,12.1 多元線性回歸模型,多元回歸模型與回歸方程估計的多元回歸方程參數(shù)的最小二乘估計,多元回歸模型與回歸方程,多元回歸模型 (multiple regression model),一個因變量與兩個及兩個以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ，…， xp 和誤差項 ? 的方程，稱為多元回歸模型涉及 p 個自變量的多元回歸模型可表示為,b0 ，b1，b2 ，?，bp是參數(shù)

3、? 是被稱為誤差項的隨機變量 y 是x1,，x2 ，? ，xp 的線性函數(shù)加上誤差項? ? 包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性,多元回歸模型(基本假定),誤差項ε是一個期望值為0的隨機變量，即E(?)=0對于自變量x1，x2，…，xp的所有值，?的方差?2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,?2)，且相互獨立,多元回歸方程 (multiple regression equatio

4、n),描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，…，xp的方程多元線性回歸方程的形式為 E( y ) = ?0+ ?1 x1 + ?2 x2 +…+ ?p xp,b1，b2，?，bp稱為偏回歸系數(shù) bi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均平均變動值,二元回歸方程的直觀解釋,,估計的多元回歸方程,估計的多元回歸的方程(estimated multiple re

5、gression equation),是 估計值 是 y 的估計值,用樣本統(tǒng)計量 估計回歸方程中的 參數(shù) 時得到的方程由最小二乘法求得一般形式為,參數(shù)的最小二乘估計,參數(shù)的最小二乘法,求解各回歸參數(shù)的標準方程如下,使因變量的觀察值與估計值之間的離差平方和達到

6、最小來求得 。即,參數(shù)的最小二乘法(例題分析),【例】一家大型商業(yè)銀行在多個地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款(y)與貸款余額(x1)、累計應(yīng)收貸款(x2)、貸款項目個數(shù)(x3)和固定資產(chǎn)投資額(x4)的線性回歸方程，并解釋各回歸系數(shù)的含義 用

7、Excel進行回歸,,12.2 回歸方程的擬合優(yōu)度,多重判定系數(shù)估計標準誤差,多重判定系數(shù),多重判定系數(shù)(multiple coefficient of determination),回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例,修正多重判定系數(shù)(adjusted multiple coefficient of determination),用樣本容量n和自變量的個數(shù)p

8、去修正R2得到 計算公式為避免增加自變量而高估 R2意義與 R2類似數(shù)值小于R2,Excel 輸出結(jié)果的分析,,估計標準誤差 Sy,對誤差項?的標準差?的一個估計值衡量多元回歸方的程擬合優(yōu)度計算公式為,Excel 輸出結(jié)果的分析,,12.3 顯著性檢驗,線性關(guān)系檢驗回歸系數(shù)檢驗和推斷,線性關(guān)系檢驗,線性關(guān)系檢驗,檢驗因變量與所有自變量之間的是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸離差平方和(SSR)同

9、剩余離差平方和(SSE)加以比較，應(yīng)用 F 檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系,線性關(guān)系檢驗,提出假設(shè)H0：?1??2????p=0 線性關(guān)系不顯著H1：?1，?2，?，?p至少有一個不等于0,2. 計算檢驗統(tǒng)計量F,3. 確定顯著性水平?和分子自由度p、分母自由度n-p-1找出臨界值F ?4. 作出決策：若F>F ?，

10、拒絕H0,Excel 輸出結(jié)果的分析,,回歸系數(shù)檢驗和推斷,回歸系數(shù)的檢驗,線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數(shù)進行檢驗，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗的個數(shù)進行限制，以避免犯過多的第一類錯誤(棄真錯誤) 對每一個自變量都要單獨進行檢驗應(yīng)用 t 檢驗統(tǒng)計量,回歸系數(shù)的檢驗(步驟),提出假設(shè)H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1

11、： bi ? 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計算檢驗的統(tǒng)計量 t,確定顯著性水平?，并進行決策? t?>t???，拒絕H0； ? t?<t???，不能拒絕H0,Excel 輸出結(jié)果的分析,,回歸系數(shù)的推斷 (置信區(qū)間),?回歸系數(shù)在(1-?)%置信水平下的置信區(qū)間為,回歸系數(shù)的抽樣標準差,,Excel 輸出結(jié)果的分析,,12.4 多重共線性,多重共線性及其所產(chǎn)生的問題多重共線性的判別多重共線

12、性問題的處理,多重共線性及其產(chǎn)生的問題,多重共線性(multicollinearity),回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有 可能會使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤?可能對參數(shù)估計值的正負號產(chǎn)生影響，特別是各回歸系數(shù)的正負號有可能同我們與其的正負號相反,Excel 輸出結(jié)果的分析,,多重共線性的識別,多重共線性的識別,檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關(guān)系數(shù)，并對

13、各相關(guān)系數(shù)進行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)。當模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著 回歸系數(shù)的正負號與其的相反。,Excel 輸出結(jié)果的分析,,多重共線性(例題分析),【例】判別各自變量之間是否存在多重共線性,貸款余額、應(yīng)收貸款、貸款項目、固定資產(chǎn)投資額之間的相關(guān)矩陣,多

14、重共線性(例題分析),【例】判別各自變量之間是否存在多重共線性,相關(guān)矩陣系數(shù)的檢驗統(tǒng)計量,多重共線性(例題分析),t???(25-2)=2.0687，所有統(tǒng)計量t>t???(25-2)=2.0687，所以均拒絕原假設(shè)，說明這4個自變量兩兩之間都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F＝1.03539E-06?=0.05) 。這也暗示了模型中存在多重共線性固定資產(chǎn)投資

15、額的回歸系數(shù)為負號(-0.029193) ，與預(yù)期的不一致,多重共線性問題的處理,多重共線性(問題的處理),將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù) t 統(tǒng)計量對單個參數(shù)進行檢驗對因變量值的推斷(估計或預(yù)測)的限定在自變量樣本值的范圍內(nèi),Excel 輸出結(jié)果的分析,,12.5 利用回歸方程進行估計和預(yù)測,,軟件應(yīng)用,置信區(qū)間估計(例題分析),STATIST

16、ICA輸出的不良貸款的置信區(qū)間,預(yù)測區(qū)間估計(例題分析),STATISTICA輸出的不良貸款的預(yù)測區(qū)間,12.6 虛擬自變量的回歸,含有一個虛擬自變量的回歸用虛擬自變量回歸解決方差分析問題,含有一個虛擬自變量的回歸,虛擬自變量(dummy variable),用數(shù)字代碼表示的定性自變量虛擬自變量可有不同的水平只有兩個水平的虛擬自變量比如，性別(男，女) 有兩個以上水平的虛擬自變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)

17、虛擬變量的取值為0，1,虛擬自變量的回歸,回歸模型中使用虛擬自變量時，稱為虛擬自變量的回歸當虛擬自變量只有兩個水平時，可在回歸中引入一個虛擬變量比如，性別(男，女) 一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個虛擬變量,虛擬自變量的回歸(例題分析),【例】為研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機抽取男女學(xué)生各8名，得到他們的市場營銷學(xué)課程的考試成績?nèi)缦卤?虛擬自變量的回歸(例題分析),散點圖,y

18、與x的回歸,,虛擬自變量的回歸 (例題分析),引進虛擬變量時，回歸方程可寫：E(y) =?0+ ?1x男( x=0)：E(y) =?0—男學(xué)生考試成績的期望值女(x=0 )：E(y) =?0+ ?1—?1女學(xué)生考試成績的期望值注意：當指定虛擬變量0—1時?0總是代表與虛擬變量值0所對應(yīng)的那個分類變量水平的平均值?1總是代表與虛擬變量值1所對應(yīng)的那個分類變量水平的平均響應(yīng)與虛擬變量值0所對應(yīng)的那個分類變量水平的平均值的差值，即

19、 平均值的差值 =(?0+ ?1) - ?0= ?1,虛擬自變量的回歸(例題分析),【例】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機抽取10名職工，所得數(shù)據(jù)如下表,y與x1的回歸及分析,y與x1、 x2的回歸及分析,,,虛擬自變量的回歸 (例題分析),引進虛擬變量時，回歸方程可寫： E(y) =?0+ ?1x1+ ?2x2女( x2=0)：E

20、(y|女性) =?0 +?1x1男(x2=1)：E(y|男性) =(?0 + ?2 ) +?1x1?0的含義表示：女性職工的期望月工資收入 (?0+ ?2)的含義表示：男性職工的期望月工資收入 ?1含義表示：工作年限每增加1年，男性或女性工資的平均增加值 ?2含義表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值 (?0+ ?2) - ?0= ?2,用虛擬自變量回歸解決方差分析問題,方差分析的回歸方法 (例

21、題分析),引進虛擬變量建立回歸方程：E(Y)=?0+ ?1x1+ ?2x2+?3x3用Excel進行回歸?0—家電制造業(yè)投訴次數(shù)的平均值 (?0+ ?1)—零售業(yè)投訴次數(shù)的平均值 (?0+ ?2)—旅游業(yè)投訴次數(shù)的平均值 (?0+ ?3)—航空公司投訴次數(shù)的平均值,,本章小結(jié),多元回歸模型、回歸方程、估計方程回歸方程的擬合優(yōu)度顯著性檢驗多重共線性利用回歸方程進行估計和預(yù)測虛擬自變量的回歸方差分析的回歸方法,結(jié)