[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計(jì)課件第9章

1、一元回歸分析,在現(xiàn)實(shí)問題中，處于同一個(gè)過程中的一些變量，往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：,相關(guān)關(guān)系問題,（1）確定性關(guān)系——函數(shù)關(guān)系；,（2）非確定性關(guān)系——相關(guān)關(guān)系；,相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴關(guān)系，但這種關(guān)系并不完全確定，它們之間的關(guān)系不能精確地用函數(shù)表示出來，這些變量其實(shí)是隨機(jī)變量，或至少有一個(gè)是隨機(jī)變量。,相關(guān)關(guān)系舉例,例如：在氣候、土壤、水利、種子和耕作技術(shù)等條件基本相同時(shí)，某農(nóng)作物的

2、畝產(chǎn)量 Y 與施肥量 X 之間有一定的關(guān)系，但施肥量相同，畝產(chǎn)量卻不一定相同。畝產(chǎn)量是一個(gè)隨機(jī)變量。,又如：人的血壓 Y 與年齡 X 之間有一定的依賴關(guān)系，一般來說，年齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不一定相等。血壓是一個(gè)隨機(jī)變量。,農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這種關(guān)系稱為相關(guān)關(guān)系，在這些變量中，施肥量、年齡是可控變量，畝產(chǎn)量、血壓是不可控變量。一般在討論相關(guān)關(guān)系問題中，可控變量稱為自變量，不可控變量稱為因變量。,

3、函數(shù)關(guān)系與相關(guān)關(guān)系的區(qū)別,相關(guān)關(guān)系——,影響,的值，,函數(shù)關(guān)系——,決定,的值，,因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法確定：在給定自變量 的條件下，因變量 的條件數(shù)學(xué)期望,不能確定。,回歸分析的概念,研究一個(gè)隨機(jī)變量與一個(gè)（或幾個(gè)）可控變量之間的相關(guān)關(guān)系的統(tǒng)計(jì)方法稱為回歸分析。,只有一個(gè)自變量的回歸分析稱為一元回歸分析；多于一個(gè)自變量的回歸分析稱為多元回歸分析。,引進(jìn)回歸函數(shù),稱為回歸方程,回歸分析主要包

4、括三方面的內(nèi)容,（1）提供建立有相關(guān)關(guān)系的變量之間的數(shù)學(xué)關(guān)系式（稱為經(jīng)驗(yàn)公式）的一般方法；,（2）判別所建立的經(jīng)驗(yàn)公式是否有效，并從影響隨機(jī)變量的諸變量中判別哪些變量的影響是顯著的，哪些是不顯著的；,回歸分析的內(nèi)容,（3）利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測和控制。,一元線性回歸模型,如果試驗(yàn)的散點(diǎn)圖中各點(diǎn)呈直線狀，則假設(shè)這批數(shù)據(jù)的數(shù)學(xué)模型為,設(shè)隨機(jī)變量Y依賴于自變量x，作n次獨(dú)立試驗(yàn)，得n對觀測值：稱這n對觀測值為容量為n的一個(gè)子樣，若

5、把這n對觀測值在平面直角坐標(biāo)系中描點(diǎn)，得到試驗(yàn)的散點(diǎn)圖.,則,,,,圖 9-1,,因此,其中 是與 無關(guān)的未知常數(shù)。,（9.1）,一元線性回歸模型,一般地，稱如下數(shù)學(xué)模型為一元線性模型,而 稱為回歸函數(shù)或回歸方程。,稱為回歸系數(shù)。,回歸函數(shù)（方程）的建立,由觀測值 確定的回歸函數(shù) ，應(yīng)使得

6、 較小。,考慮函數(shù),問題：確定 ，使得 取得極小值。,這是一個(gè)二元函數(shù)的無條件極值問題。,回歸方程的建立,令,,,,回歸方程的建立,記,表示對 的估計(jì)值,則變量 對 的回歸方程為,簡寫為,,最小二乘法,回歸方程有效性的檢驗(yàn),對于任何一組數(shù)據(jù) ，都可按最小二乘法確定一個(gè)線性函數(shù)，但變量 與 之間是否真有近似于線性函數(shù)的相關(guān)關(guān)系呢？尚需進(jìn)行假設(shè)檢驗(yàn)

7、。,假設(shè),如果 成立，則不能認(rèn)為 與 有線性相關(guān)關(guān)系。,三種檢驗(yàn)方法：F檢驗(yàn)法、t-檢驗(yàn)法、r檢驗(yàn)法。,,,,,回歸方程有效性的F檢驗(yàn)法,記,——總離差平方和，反映觀測值與平均值的偏差程度。,經(jīng)恒等變形，將 分解,,,,,回歸方程有效性的F檢驗(yàn)法,——回歸平方和，反映回歸值與平均值的偏差，揭示變量 與 的線性關(guān)系所引起的數(shù)據(jù)波動(dòng)。,——剩余平方和，反映觀測值與回歸值的偏差，揭示試驗(yàn)誤差和非線性關(guān)系對試驗(yàn)結(jié)果所引

8、起的數(shù)據(jù)波動(dòng)。,,,,,回歸方程有效性的F檢驗(yàn)法,如果 為真，則,于是，統(tǒng)計(jì)量,對給定的檢驗(yàn)水平 ，,（1）當(dāng) 時(shí)，拒絕 ，即可認(rèn)為變量 與 有線性相關(guān)關(guān)系；,（2）當(dāng) 時(shí)，接受 ，即可認(rèn)為變量 與 沒有線性相關(guān)關(guān)系；,回歸方程有效性的F檢驗(yàn)法,（2）當(dāng) 時(shí)，接受 ，即可認(rèn)為變量 與 沒有線性相關(guān)關(guān)系；,此時(shí)，可能有以下幾種情況：,（2） 對

9、 有顯著影響，但這種影響不能用線性關(guān)系表示，應(yīng)作非線性回歸；,（3）除 之外，還有其它變量對 也有顯著影響，從而削弱了 對 的影響，應(yīng)考慮多元回歸。,（1） 對 沒有顯著影響，應(yīng)丟棄自變量 ；,回歸方程有效性的r檢驗(yàn)法,記,——樣本的相關(guān)系數(shù),可反映變量 與 之間的線性相關(guān)程度。,因?yàn)?回歸方程有效性的r檢驗(yàn)法,記,——樣本的相關(guān)系數(shù),越大，變量 與 之間的線性相關(guān)程度越強(qiáng)。,因?yàn)?（1）,（2） 時(shí)

10、，,（3） 時(shí)，,與 有線性相關(guān)關(guān)系；,與 無線性相關(guān)關(guān)系；,回歸方程有效性的r檢驗(yàn)法,計(jì)算,對給定的檢驗(yàn)水平 ，查相關(guān)系數(shù)的臨界值表,如果 ，則拒絕 ，即線性回歸方程有效；否則，接受 ，即線性回歸方程無效。,F檢驗(yàn)與r檢驗(yàn)是一致的：,回歸方程有效性的t檢驗(yàn)法,統(tǒng)計(jì)量,H0成立時(shí)，,對給定的檢驗(yàn)水平 ，H0的拒絕域?yàn)?即當(dāng) 時(shí)，變量 與 有線性相關(guān)關(guān)系。,F檢驗(yàn)與t檢

11、驗(yàn)是一致的：,,試求出 與 的關(guān)系，并判斷是否有效。,例1 為了研究大豆脂肪含量 和蛋白質(zhì)含量 的關(guān)系，測定了九種大豆品種籽粒內(nèi)的脂肪含量和蛋白質(zhì)含量，得到如下數(shù)據(jù),解 （1）描散點(diǎn)圖,（2）建立模型,由散點(diǎn)圖，設(shè)變量 與 為線性相關(guān)關(guān)系：,確定回歸系數(shù) 和 ：,所以，所求的回歸方程為,（3）檢驗(yàn)回歸方程的有效性,查相關(guān)系數(shù)臨界值表,因?yàn)?所以回歸方程在 的檢驗(yàn)水平下有統(tǒng)計(jì)意義。,即可以認(rèn)為大豆的蛋白

12、質(zhì)含量與脂肪含量有線性相關(guān)性。,利用回歸方程進(jìn)行預(yù)測,1、點(diǎn)預(yù)測,時(shí)， 即為 的點(diǎn)預(yù)測值。,2、區(qū)間預(yù)測,統(tǒng)計(jì)量,對給定的置信水平 ， 的預(yù)測區(qū)間為,,續(xù)例1 求大豆脂肪含量為18.6%的條件下蛋白質(zhì)95%的預(yù)測區(qū)間。,解 由已求得的回歸方程,得蛋白質(zhì)的點(diǎn)預(yù)測值為,所以脂肪含量為18.6%時(shí)，蛋白質(zhì)的95%的預(yù)測區(qū)間為,利用回歸方程進(jìn)行預(yù)測,控制則為預(yù)測的反問題：已知因變量的取值區(qū)間為,，確定自變量

13、的取值區(qū)間 使得,利用回歸方程進(jìn)行控制,一般地，要解出 和 很復(fù)雜，可作簡化求解：,當(dāng)樣本容量很大時(shí)，,，則,例1的上機(jī)操作步驟,分兩列輸入,回歸分析命令,,因變量,自變量,,預(yù)測點(diǎn),置信水平,,,,,,,,t檢驗(yàn),r檢驗(yàn),F檢驗(yàn),,,預(yù)測區(qū)間,點(diǎn)預(yù)測值,,自變量值,,可線性化的一元非線性回歸,多重線性回歸簡介,前一節(jié)，我們學(xué)習(xí)了一元線性回歸分析問題，在實(shí)際應(yīng)用中，有些變量之間并不是線性相關(guān)關(guān)系，但可以經(jīng)過適當(dāng)?shù)淖?/p>

14、換，把非線性回歸問題轉(zhuǎn)化為線性回歸問題。,可線性化的一元非線性回歸,常見的幾種變換形式：,1、雙曲線,令,,2、冪函數(shù)曲線,令,,化非線性回歸為線性回歸,變形,3、指數(shù)函數(shù)曲線,令,,變形,4、負(fù)指數(shù)函數(shù)曲線,令,,化非線性回歸為線性回歸,變形,5、對數(shù)函數(shù)曲線,令,,6、S型（Logistic）曲線,令,,化非線性回歸為線性回歸,變形,例1 測定某肉雞的生長過程，每兩周記錄一次雞的重量，數(shù)據(jù)如下表,由經(jīng)驗(yàn)知雞的生長曲線為Logi

15、stic曲線，且極限生長量為k=2.827，試求y對x的回歸曲線方程。,解 由題設(shè)可建立雞重y與時(shí)間x的相關(guān)關(guān)系為,令,則有,列表計(jì)算,所以,所以所求曲線方程為,上機(jī)操作,輸入原始數(shù)據(jù),上機(jī)操作,計(jì)算,上機(jī)操作,上機(jī)操作,上機(jī)操作,是y*，而不是y,,自變量,上機(jī)操作,,,回歸方程，還要回代系數(shù),多重回歸分析,在實(shí)際問題中，自變量的個(gè)數(shù)可能多于一個(gè)，隨機(jī)變量 y與多個(gè)可控變量x1,x2,x3,…,xk之間是否存在相關(guān)關(guān)系，則屬于多重

16、（元）回歸問題。本節(jié)討論多重線性回歸。,多重線性回歸模型,隨機(jī)變量 與 之間的線性關(guān)系,(1),其中,未知,則（1）式稱為多重線性回歸模型。,多重線性回歸模型,若對變量 與 分別作n次觀測，則可得一個(gè)容量為n的子樣,(2),其中,為待定參數(shù)，稱為回歸系數(shù)。,（2）式含有k+1個(gè)參數(shù)，故觀測次數(shù)應(yīng)滿足n>k+1。,則有,多重線性回歸模型的矩

17、陣形式,記,則（2）有矩陣形式,其中,確定 的最小二乘法,考慮多元函數(shù),目標(biāo)：確定 使 最小,方法：,解得,——多重線性回歸方程,線性回歸方程的有效性檢驗(yàn)——方差分析法,線性回歸方程是否有統(tǒng)計(jì)意義，可檢驗(yàn)假設(shè),是否成立,方法：方差分析法，將總離差平方和分解,線性回歸方程的有效性檢驗(yàn)——方差分析法,——回歸平方和，反映線性關(guān)系對觀測結(jié)果產(chǎn)生的數(shù)據(jù)波動(dòng)，S

18、SR越大，線性相關(guān)關(guān)系越強(qiáng)。,——剩余平方和（或殘差平方和），反映除線性因素之外的其它因素對觀測結(jié)果產(chǎn)生的數(shù)據(jù)波動(dòng)，SSE越大，則其它因素對Y的影響越大。,線性回歸方程的有效性檢驗(yàn)——方差分析法,在H0成立的條件下，可以證明：,（n為觀測次數(shù)，k為自變量個(gè)數(shù)）,構(gòu)造F統(tǒng)計(jì)量,當(dāng) 時(shí)，拒絕H0。,回歸系數(shù)的統(tǒng)計(jì)檢驗(yàn),回歸方程的有效性檢驗(yàn)，只是解決了 與之

19、間是否有線性相關(guān)關(guān)系，至于變量 對 的影響是否有統(tǒng)計(jì)意義，無從看出，因此，還需對回歸系數(shù) 是否為0作統(tǒng)計(jì)檢驗(yàn)。,提出假設(shè),如果H0成立，可以證明統(tǒng)計(jì)量,當(dāng) 時(shí)，拒絕H0。,利用回歸方程作預(yù)測及控制,對于給定的,點(diǎn)估計(jì)值,置信水平為 的預(yù)測區(qū)間為,例2 某種水泥在凝固時(shí)放出的熱量Y（cal/g）與水泥中下列4種化學(xué)成分