一元線性回歸結(jié)果的顯著性檢驗

1、一、回歸結(jié)果的顯著性檢驗,1.線性關(guān)系的檢驗,①檢驗自變量與因變量之間的線性關(guān)系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F 檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)) 殘差均方(MSE) ：殘差平方和SSE除以相應(yīng)的自由度(n-2).,線性關(guān)系的檢驗的步驟,提出假設(shè)H0：?1=0 線性關(guān)系不顯著,2. 計算檢驗統(tǒng)計量F,確定顯著性水平?，并根據(jù)分子

2、自由度1和分母自由度n-2找出臨界值F ?作出決策：若F>F ?,拒絕H0；若F<F ?,不能拒絕H0,例題分析 (以前面資料),提出假設(shè)H0： ?1=0 不良貸款與貸款余額之間的線性關(guān)系不顯著計算檢驗統(tǒng)計量F,確定顯著性水平?=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F ?=4.28作出決策：若F>F ?,拒絕H0，線性關(guān)系顯著,方差分析表 Excel 輸出的方差分析表,2.回歸系數(shù)的檢驗

3、,在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗,檢驗 x 與 y 之間是否具有線性關(guān)系，或者說，檢驗自變量 x 對因變量 y 的影響是否顯著,理論基礎(chǔ)是回歸系數(shù) 的抽樣分布,樣本統(tǒng)計量 的分布,是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布 的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于? 未知，需用其估計量sy來代替得到 的估計的標(biāo)準(zhǔn)差,回歸系數(shù)的檢驗檢驗步驟,提出假設(shè)H0: b1 =

4、 0 (沒有線性關(guān)系) H1: b1 ? 0 (有線性關(guān)系) 計算檢驗的統(tǒng)計量,確定顯著性水平?，并進行決策? t?>t???，拒絕H0；? t?<t???，不能拒絕H0,例題分析,?對例題的回歸系數(shù)進行顯著性檢驗(?＝0.05)提出假設(shè)H0：b1 = 0 H1：b1 ? 0 計算檢驗的統(tǒng)計量,t=7.533515>t???=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系,回歸系數(shù)的檢

5、驗例題分析表,?P 值的應(yīng)用,P=0.000000<?=0.05，拒絕原假設(shè)，不良貸款與貸款余額之間有線性關(guān)系,3、三種檢驗的關(guān)系,在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗、回歸方程顯著性的F檢驗，相關(guān)系數(shù)顯著性 t檢驗，三者等價的，檢驗結(jié)果是完全一致的。對一元線性回歸，只做其中 的一種檢驗即可。,二、 回歸分析結(jié)果的評價,建立的模型是否合適？或者說，這個擬合的模型有多“好”？要回答這些問題，可以從以下幾個方面入手

6、所估計的回歸系數(shù) 的符號是否與理論或事先預(yù)期相一致在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù) 為正值如果理論上認為x與y之間的關(guān)系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應(yīng)該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對回歸系數(shù)的t檢驗結(jié)果表明二者之間

7、的線性關(guān)系是統(tǒng)計上顯著的,回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關(guān)于誤差項?的正態(tài)性假定是否成立。因為我們在對線性關(guān)系進行F檢驗和回歸系數(shù)進行t檢驗時，都要求誤差項?服從正態(tài)分布，否則，我們所用的檢驗程序?qū)⑹菬o效的。?正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖計量單位的討論，

8、因果模型的特征,Excel輸出的部分回歸結(jié)果,R2）,殘差分析,1 用殘差證實模型的假定2 用殘差檢測異常值和有影響的觀測值,殘差圖(residual plot),表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差?的假定是否成立 檢測有影響的觀測值,殘差圖(形態(tài)及判別),殘差圖(例題分析),,標(biāo)準(zhǔn)化殘差(standardized residual),? 殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值。計算公式為

9、 sei是第i個殘差的標(biāo)準(zhǔn)差，其計算公式為,標(biāo)準(zhǔn)化殘差圖,? 用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立 若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間,標(biāo)準(zhǔn)化殘差圖(例題分析),,異常值,如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點.如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型

10、的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔除.,異常值識別,異常值也可以通過標(biāo)準(zhǔn)化殘差來識別如果某一個觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識別為異常值一般情況下，當(dāng)一個觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時，就可以將其視為異常值,有影響的觀測值,如果某一個或某

11、一些觀測值對回歸的結(jié)果有強烈的影響，那么該觀測值或這些觀測值就是有影響的觀測值 一個有影響的觀測值可能是一個異常值，即有一個值遠遠偏離了散點圖中的趨勢線對應(yīng)一個遠離自變量平均值的觀測值或者是這二者組合而形成的觀測值,有影響的觀測值圖示,,不存在影響值的趨勢,,有影響的觀測值,存在影響值的趨勢,,,小 結(jié),一、變量間關(guān)系的種類二、相關(guān)系數(shù)的計算、評價及檢驗三、回歸模型、回歸方程、估計回歸方程的概念，回歸方程參數(shù)的最小二乘估

12、計四、判定系數(shù)、估計標(biāo)準(zhǔn)誤差的 計算，及線性關(guān)系檢驗及 回歸系數(shù)的檢驗五、回歸分析結(jié)果的評價,26,利用回歸方程進行估計和預(yù)測,根據(jù)自變量 x 的取值估計或預(yù)測因變量 y的取值估計或預(yù)測的類型點估計y 的平均值的點估計y 的個別值的點估計區(qū)間估計y 的平均值的置信區(qū)間估計y 的個別值的預(yù)測區(qū)間估計,27,利用回歸方程進行估計和預(yù)測（點估計）,2. 點估計值有y 的平均值的點估計y 的

13、個別值的點估計3. 在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同,對于自變量 x 的一個給定值x0 ，根據(jù)回歸方程得到因變量 y 的一個估計值,28,? y 的平均值的點估計利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的一個估計值E(y0) ，就是平均值的點估計在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是

14、平均值的點估計。根據(jù)估計的回歸方程得,29,? y 的個別值的點估計,利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計值 ，就是個別值的點估計,2. 比如，如果我們只是想知道1990年人均國民收入為1250.7元時的人均消費金額是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得,30,點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量 x 的

15、一個給定值 x0，根據(jù)回歸方程得到因變量 y 的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計預(yù)測區(qū)間估計,31,? y 的平均值的置信區(qū)間估計 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值E(y0)的估計區(qū)間 ，這一估計區(qū)間稱為置信區(qū)間 E(y0) 在1-?置信水平下的置信區(qū)間為,式中：Sy為估計標(biāo)準(zhǔn)誤差,32,【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均消費金額95%的置信

16、區(qū)間 解：根據(jù)前面的計算結(jié)果 ＝712.57，Sy=14.95， t???(13-2)＝2.201，n=13置信區(qū)間為:,712.57?10.265,人均消費金額95%的置信區(qū)間為702.305元~722.835元之間,33,? y 的個別值的預(yù)測區(qū)間估計 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間

17、y0在1-?置信水平下的預(yù)測區(qū)間為,34,【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時，人均消費金額的95%的預(yù)測區(qū)間 解：根據(jù)前面的計算結(jié)果有 ＝712.57，Sy=14.95，t???(13-2)＝2.201，n=13 的置信區(qū)間為,712.57?34.469,人均消費金額95%的預(yù)測區(qū)間為678.101元~747.039元之間,35,影響區(qū)間寬度的因素,1.置信水