一元線性回歸結(jié)果的顯著性檢驗(yàn)

1、一、回歸結(jié)果的顯著性檢驗(yàn),1.線性關(guān)系的檢驗(yàn),①檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F 檢驗(yàn)來(lái)分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)) 殘差均方(MSE) ：殘差平方和SSE除以相應(yīng)的自由度(n-2).,線性關(guān)系的檢驗(yàn)的步驟,提出假設(shè)H0：?1=0 線性關(guān)系不顯著,2. 計(jì)算檢驗(yàn)統(tǒng)計(jì)量F,確定顯著性水平?，并根據(jù)分子

2、自由度1和分母自由度n-2找出臨界值F ?作出決策：若F>F ?,拒絕H0；若F<F ?,不能拒絕H0,例題分析 (以前面資料),提出假設(shè)H0： ?1=0 不良貸款與貸款余額之間的線性關(guān)系不顯著計(jì)算檢驗(yàn)統(tǒng)計(jì)量F,確定顯著性水平?=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F ?=4.28作出決策：若F>F ?,拒絕H0，線性關(guān)系顯著,方差分析表 Excel 輸出的方差分析表,2.回歸系數(shù)的檢驗(yàn)

3、,在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn),檢驗(yàn) x 與 y 之間是否具有線性關(guān)系，或者說(shuō)，檢驗(yàn)自變量 x 對(duì)因變量 y 的影響是否顯著,理論基礎(chǔ)是回歸系數(shù) 的抽樣分布,樣本統(tǒng)計(jì)量 的分布,是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自己的分布 的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于? 未知，需用其估計(jì)量sy來(lái)代替得到 的估計(jì)的標(biāo)準(zhǔn)差,回歸系數(shù)的檢驗(yàn)檢驗(yàn)步驟,提出假設(shè)H0: b1 =

4、 0 (沒(méi)有線性關(guān)系) H1: b1 ? 0 (有線性關(guān)系) 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,確定顯著性水平?，并進(jìn)行決策? t?>t???，拒絕H0；? t?<t???，不能拒絕H0,例題分析,?對(duì)例題的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(?＝0.05)提出假設(shè)H0：b1 = 0 H1：b1 ? 0 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,t=7.533515>t???=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系,回歸系數(shù)的檢

5、驗(yàn)例題分析表,?P 值的應(yīng)用,P=0.000000<?=0.05，拒絕原假設(shè)，不良貸款與貸款余額之間有線性關(guān)系,3、三種檢驗(yàn)的關(guān)系,在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗(yàn)、回歸方程顯著性的F檢驗(yàn)，相關(guān)系數(shù)顯著性 t檢驗(yàn)，三者等價(jià)的，檢驗(yàn)結(jié)果是完全一致的。對(duì)一元線性回歸，只做其中 的一種檢驗(yàn)即可。,二、 回歸分析結(jié)果的評(píng)價(jià),建立的模型是否合適？或者說(shuō)，這個(gè)擬合的模型有多“好”？要回答這些問(wèn)題，可以從以下幾個(gè)方面入手

6、所估計(jì)的回歸系數(shù) 的符號(hào)是否與理論或事先預(yù)期相一致在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多不良貸款也可能會(huì)越多，也就是說(shuō)，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù) 為正值如果理論上認(rèn)為x與y之間的關(guān)系不僅是正的，而且是統(tǒng)計(jì)上顯著的，那么所建立的回歸方程也應(yīng)該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對(duì)回歸系數(shù)的t檢驗(yàn)結(jié)果表明二者之間

7、的線性關(guān)系是統(tǒng)計(jì)上顯著的,回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來(lái)回答這一問(wèn)題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說(shuō)明擬合的效果還算不錯(cuò)考察關(guān)于誤差項(xiàng)?的正態(tài)性假定是否成立。因?yàn)槲覀冊(cè)趯?duì)線性關(guān)系進(jìn)行F檢驗(yàn)和回歸系數(shù)進(jìn)行t檢驗(yàn)時(shí)，都要求誤差項(xiàng)?服從正態(tài)分布，否則，我們所用的檢驗(yàn)程序?qū)⑹菬o(wú)效的。?正態(tài)性的簡(jiǎn)單方法是畫(huà)出殘差的直方圖或正態(tài)概率圖計(jì)量單位的討論，

8、因果模型的特征,Excel輸出的部分回歸結(jié)果,R2）,殘差分析,1 用殘差證實(shí)模型的假定2 用殘差檢測(cè)異常值和有影響的觀測(cè)值,殘差圖(residual plot),表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差?的假定是否成立 檢測(cè)有影響的觀測(cè)值,殘差圖(形態(tài)及判別),殘差圖(例題分析),,標(biāo)準(zhǔn)化殘差(standardized residual),? 殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值。計(jì)算公式為

9、 sei是第i個(gè)殘差的標(biāo)準(zhǔn)差，其計(jì)算公式為,標(biāo)準(zhǔn)化殘差圖,? 用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立 若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間,標(biāo)準(zhǔn)化殘差圖(例題分析),,異常值,如果某一個(gè)點(diǎn)與其他點(diǎn)所呈現(xiàn)的趨勢(shì)不相吻合，這個(gè)點(diǎn)就有可能是異常點(diǎn)，或稱為野點(diǎn).如果異常值是一個(gè)錯(cuò)誤的數(shù)據(jù)，比如記錄錯(cuò)誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型

10、的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機(jī)因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時(shí)，若一個(gè)異常值是一個(gè)有效的觀測(cè)值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔除.,異常值識(shí)別,異常值也可以通過(guò)標(biāo)準(zhǔn)化殘差來(lái)識(shí)別如果某一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識(shí)別為異常值一般情況下，當(dāng)一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時(shí)，就可以將其視為異常值,有影響的觀測(cè)值,如果某一個(gè)或某

11、一些觀測(cè)值對(duì)回歸的結(jié)果有強(qiáng)烈的影響，那么該觀測(cè)值或這些觀測(cè)值就是有影響的觀測(cè)值 一個(gè)有影響的觀測(cè)值可能是一個(gè)異常值，即有一個(gè)值遠(yuǎn)遠(yuǎn)偏離了散點(diǎn)圖中的趨勢(shì)線對(duì)應(yīng)一個(gè)遠(yuǎn)離自變量平均值的觀測(cè)值或者是這二者組合而形成的觀測(cè)值,有影響的觀測(cè)值圖示,,不存在影響值的趨勢(shì),,有影響的觀測(cè)值,存在影響值的趨勢(shì),,,小 結(jié),一、變量間關(guān)系的種類二、相關(guān)系數(shù)的計(jì)算、評(píng)價(jià)及檢驗(yàn)三、回歸模型、回歸方程、估計(jì)回歸方程的概念，回歸方程參數(shù)的最小二乘估

12、計(jì)四、判定系數(shù)、估計(jì)標(biāo)準(zhǔn)誤差的 計(jì)算，及線性關(guān)系檢驗(yàn)及 回歸系數(shù)的檢驗(yàn)五、回歸分析結(jié)果的評(píng)價(jià),26,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),根據(jù)自變量 x 的取值估計(jì)或預(yù)測(cè)因變量 y的取值估計(jì)或預(yù)測(cè)的類型點(diǎn)估計(jì)y 的平均值的點(diǎn)估計(jì)y 的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y 的平均值的置信區(qū)間估計(jì)y 的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì),27,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)（點(diǎn)估計(jì)）,2. 點(diǎn)估計(jì)值有y 的平均值的點(diǎn)估計(jì)y 的

13、個(gè)別值的點(diǎn)估計(jì)3. 在點(diǎn)估計(jì)條件下，平均值的點(diǎn)估計(jì)和個(gè)別值的的點(diǎn)估計(jì)是一樣的，但在區(qū)間估計(jì)中則不同,對(duì)于自變量 x 的一個(gè)給定值x0 ，根據(jù)回歸方程得到因變量 y 的一個(gè)估計(jì)值,28,? y 的平均值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值的一個(gè)估計(jì)值E(y0) ，就是平均值的點(diǎn)估計(jì)在前面的例子中，假如我們要估計(jì)人均國(guó)民收入為2000元時(shí)，所有年份人均消費(fèi)金額的的平均值，就是

14、平均值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得,29,? y 的個(gè)別值的點(diǎn)估計(jì),利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)值 ，就是個(gè)別值的點(diǎn)估計(jì),2. 比如，如果我們只是想知道1990年人均國(guó)民收入為1250.7元時(shí)的人均消費(fèi)金額是多少，則屬于個(gè)別值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得,30,點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì)對(duì)于自變量 x 的

15、一個(gè)給定值 x0，根據(jù)回歸方程得到因變量 y 的一個(gè)估計(jì)區(qū)間區(qū)間估計(jì)有兩種類型置信區(qū)間估計(jì)預(yù)測(cè)區(qū)間估計(jì),31,? y 的平均值的置信區(qū)間估計(jì) 利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的平均值E(y0)的估計(jì)區(qū)間 ，這一估計(jì)區(qū)間稱為置信區(qū)間 E(y0) 在1-?置信水平下的置信區(qū)間為,式中：Sy為估計(jì)標(biāo)準(zhǔn)誤差,32,【例】根據(jù)前例，求出人均國(guó)民收入為1250.7元時(shí)，人均消費(fèi)金額95%的置信

16、區(qū)間 解：根據(jù)前面的計(jì)算結(jié)果 ＝712.57，Sy=14.95， t???(13-2)＝2.201，n=13置信區(qū)間為:,712.57?10.265,人均消費(fèi)金額95%的置信區(qū)間為702.305元~722.835元之間,33,? y 的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì) 利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值 x0 ，求出因變量 y 的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間

17、y0在1-?置信水平下的預(yù)測(cè)區(qū)間為,34,【例】根據(jù)前例，求出1990年人均國(guó)民收入為1250.7元時(shí)，人均消費(fèi)金額的95%的預(yù)測(cè)區(qū)間 解：根據(jù)前面的計(jì)算結(jié)果有 ＝712.57，Sy=14.95，t???(13-2)＝2.201，n=13 的置信區(qū)間為,712.57?34.469,人均消費(fèi)金額95%的預(yù)測(cè)區(qū)間為678.101元~747.039元之間,35,影響區(qū)間寬度的因素,1.置信水