回歸分析的基本思想及其初步應(yīng)用上

1、1.1回歸分析的基本思想及初步應(yīng)用,什么是回歸分析：,“回歸”一詞是由英國生物學(xué)家F.Galton在研究人體身高的遺傳問題時首先提出的。,根據(jù)遺傳學(xué)的觀點(diǎn)，子輩的身高受父輩影響，以X記父輩身高，Y記子輩身高。雖然子輩身高一般受父輩影響，但同樣身高的父親，其子身高并不一致，因此，X和Y之間存在一種相關(guān)關(guān)系。,一般而言，父輩身高者，其子輩身高也高，依此推論，祖祖輩輩遺傳下來，身高必然向兩極分化，而事實(shí)上并非如此，顯然有一種力量將身高拉

2、向中心，即子輩的身高有向中心回歸的特點(diǎn)。“回歸”一詞即源于此。,雖然這種向中心回歸的現(xiàn)象只是特定領(lǐng)域里的結(jié)論，并不具有普遍性，但從它所描述的關(guān)于X為自變量，Y為不確定的因變量這種變量間的關(guān)系看，和我們現(xiàn)在的回歸含義是相同的。,不過，現(xiàn)代回歸分析雖然沿用了“回歸”一詞，但內(nèi)容已有很大變化，它是一種應(yīng)用于許多領(lǐng)域的廣泛的分析研究方法，在經(jīng)濟(jì)理論研究和實(shí)證研究中也發(fā)揮著重要作用。,比《數(shù)學(xué)3》中“回歸”增加的內(nèi)容,數(shù)學(xué)３——統(tǒng)計(jì)畫

3、散點(diǎn)圖了解最小二乘法的思想求回歸直線方程y＝bx＋a用回歸直線方程解決應(yīng)用問題,選修1-2——統(tǒng)計(jì)案例引入線性回歸模型y＝bx＋a＋e了解模型中隨機(jī)誤差項(xiàng)e產(chǎn)生的原因了解相關(guān)指數(shù) R2 和模型擬合的效果之間的關(guān)系了解殘差圖的作用利用線性回歸模型解決一類非線性回歸問題正確理解分析方法與結(jié)果,1、兩個變量的關(guān)系,,不相關(guān),相關(guān)關(guān)系,,函數(shù)關(guān)系,線性相關(guān),非線性相關(guān),問題1：現(xiàn)實(shí)生活中兩個變量間的關(guān)系有哪些呢？,相關(guān)關(guān)系

4、：對于兩個變量，當(dāng)自變量取值一定時，因變量的取值帶有一定隨機(jī)性的兩個變量之間的關(guān)系。,回顧復(fù)習(xí),思考：相關(guān)關(guān)系與函數(shù)關(guān)系有怎樣的不同？,函數(shù)關(guān)系中的兩個變量間是一種確定性關(guān)系相關(guān)關(guān)系是一種非確定性關(guān)系,函數(shù)關(guān)系是一種理想的關(guān)系模型 相關(guān)關(guān)系在現(xiàn)實(shí)生活中大量存在，是更一般的情況,問題2：對于線性相關(guān)的兩個變量用什么方法來刻劃之間的關(guān)系呢？,2、最小二乘估計(jì),最小二乘估計(jì)下的線性回歸方程：,回歸直線必過樣本點(diǎn)的中心,3、回

5、歸分析的基本步驟:,畫散點(diǎn)圖,求回歸方程,預(yù)報、決策,這種方法稱為回歸分析.,回歸分析是對具有相關(guān)關(guān)系的兩個變量進(jìn)行統(tǒng)計(jì)分析的一種常用方法.,,自學(xué)指導(dǎo),1：結(jié)合例1得出線性回歸模型及隨機(jī)誤差。并且區(qū)分函數(shù)模型和回歸模型。,2：在線性回歸模型中，e是用bx+a預(yù)報真實(shí)值y的隨機(jī)誤差，它是一個不可觀測的量，那么應(yīng)如何研究隨機(jī)誤差呢？,3：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？如何衡量隨機(jī)模型的擬合效果？,4：結(jié)合例1思考：用回歸方程預(yù)報體重時應(yīng)注意什么

6、？,5：歸納建立回歸模型的基本步驟。,閱讀課本1頁—6頁思考回答下列問題,（注意：時間12分鐘）,,問題一：結(jié)合例1得出線性回歸模型及隨機(jī)誤差。并且區(qū)分函數(shù)模型和回歸模型。,發(fā)現(xiàn)：圖中各點(diǎn)，大致分布在某條直線附近。,探索2：在這些點(diǎn)附近可畫直線不止一條， 哪條直線最能代表x與y之間的關(guān)系呢？,根據(jù)最小二乘法估計(jì) 和 就是未知參數(shù)a和b的最好估計(jì)，,所以回歸方程是,所以，對于身高為172cm的女大學(xué)生，由回歸方程可以預(yù)報其體重

7、為,,探究P4：身高為172cm的女大學(xué)生的體重一定是60.316kg嗎？如果不是，你能解析一下原因嗎？,探究P4：身高為172cm的女大學(xué)生的體重一定是60.316kg嗎？如果不是，你能解析一下原因嗎？,答：身高為172cm的女大學(xué)生的體重不一定是60.316kg，但一般可以認(rèn)為她的體重在60.316kg左右。,60.136kg不是每個身高為172cm的女大學(xué)生的體重的預(yù)測值，而是所有身高為172cm的女大學(xué)生平均體重的預(yù)測值。,

8、函數(shù)模型與回歸模型之間的差別,函數(shù)模型：,回歸模型：,線性回歸模型y=bx+a+e增加了隨機(jī)誤差項(xiàng)e，因變量y的值由自變量x和隨機(jī)誤差項(xiàng)e共同確定，即自變量x只能解析部分y的變化。,在統(tǒng)計(jì)中，我們也把自變量x稱為解析變量，因變量y稱為預(yù)報變量。,1.用相關(guān)系數(shù) r 來衡量,2.公式：,求出線性相關(guān)方程后， 說明身高x每增加一個單位,體重y就增加0.849個單位,這表明體重與身高具有正的線性相關(guān)關(guān)系.如何描述

9、它們之間線性相關(guān)關(guān)系的強(qiáng)弱呢?,①、當(dāng) 時，x與y為完全線性相關(guān)，它們之間存在確定的函數(shù)關(guān)系。②、當(dāng) 時，表示x與y存在著一定的線性相關(guān)，r的絕對值越大，越接近于1，表示x與y直線相關(guān)程度越高，反之越低。,3.性質(zhì)：,相關(guān)關(guān)系的測度（相關(guān)系數(shù)取值及其意義）,r,,由于所有的樣本點(diǎn)不共線，而只是散布在某一直線的附近，所以身高和體重的關(guān)系可以用線性回歸模型來表示：,其中a和b為模型的未知參數(shù)，e稱為隨機(jī)誤差.,

10、思考：函數(shù)模型與“回歸模型”的關(guān)系的區(qū)別,函數(shù)模型：因變量y完全由自變量x確定回歸模型： 預(yù)報變量y完全由解釋變量x和隨機(jī)誤差e確定,思考產(chǎn)生隨機(jī)誤差項(xiàng)e的原因是什么？,隨機(jī)誤差e的來源(可以推廣到一般）：1、其它因素的影響：影響體重y 的其他因素不只是身高 x，可能還包括遺傳基因、飲食習(xí)慣、生長環(huán)境等因素；2、用線性回歸模型近似真實(shí)模型所引起的誤差；3、身高 x 的觀測誤差。,,問題二：在線性回歸模型中，e是用bx+a預(yù)報真

11、實(shí)值y的隨機(jī)誤差，它是一個不可觀測的量，那么應(yīng)如何研究隨機(jī)誤差呢？,結(jié)合例1除了身高影響體重外的其他因素是不可測量的，不能希望有某種方法獲取隨機(jī)誤差的值以提高預(yù)報變量的估計(jì)精度，但卻可以估計(jì)預(yù)報變量觀測值中所包含的隨機(jī)誤差，這對我們查找樣本數(shù)據(jù)中的錯誤和模型的評價極為有用，因此在此我們引入殘差概念。,e=y-(bx+a),,問題三：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？如何衡量隨機(jī)模型的擬合效果？,法一：我們可以通過殘差分析發(fā)現(xiàn)原始數(shù)據(jù)中的可疑數(shù)據(jù)，判

12、斷建立模型的擬合效果。,,殘差圖的制作和作用：制作：坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇.可以為編號；可以為解釋變量,作用：判斷模型的適用性若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為中心的帶形區(qū)域.,下面表格列出了女大學(xué)生身高和體重的原始數(shù)據(jù)以及相應(yīng)的殘差數(shù)據(jù)。,殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為心的帶形區(qū)域；對于遠(yuǎn)離橫軸的點(diǎn)，要特別注意。

13、,身高與體重殘差圖,,,幾點(diǎn)說明： 第一個樣本點(diǎn)和第6個樣本點(diǎn)的殘差比較大，需要確認(rèn)在采集過程中是否有人為的錯誤。如果數(shù)據(jù)采集有錯誤，就予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯誤，則需要尋找其他的原因。 另外，殘差點(diǎn)比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計(jì)較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報精度越高。,,顯然，R2的值越大，說明殘差平方和越小，也就是

14、說模型擬合效果越好。,在線性回歸模型中，R2表示解析變量對預(yù)報變量變化的貢獻(xiàn)率。,R2越接近1，表示回歸的效果越好（因?yàn)镽2越接近1，表示解析變量和預(yù)報變量的線性相關(guān)性越強(qiáng)）。,如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型。,注：相關(guān)指數(shù)R2是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻畫預(yù)報變量的能力。,,法二：我們可以用相關(guān)指數(shù)R2來刻畫

15、回歸的效果，其計(jì)算公式是,,從上中可以看出，解析變量對總效應(yīng)約貢獻(xiàn)了64%，即R2 0.64，可以敘述為“身高解析了64%的體重變化”，而隨機(jī)誤差貢獻(xiàn)了剩余的36%。 所以，身高對體重的效應(yīng)比隨機(jī)誤差的效應(yīng)大得多。,下面我們用相關(guān)指數(shù)分析一下例1：,；,,問題四：結(jié)合例1思考：用回歸方程預(yù)報體重時應(yīng)注意什么？,1.回歸方程只適用于我們所研究的樣本的總體。2.我們建立的回歸方程一般都有時間性。3.樣本取值的范圍會影響

16、回歸方程的適用范圍。4.不能期望回歸方程得到的預(yù)報值就是預(yù)報變量的精確值。,,（1）確定研究對象，明確哪個變量是解析變量，哪個變量是預(yù)報變量。,（2）畫出確定好的解析變量和預(yù)報變量的散點(diǎn)圖，觀察它們之間的關(guān)系 （如是否存在線性關(guān)系等）。,（3）由經(jīng)驗(yàn)確定回歸方程的類型（如我們觀察到數(shù)據(jù)呈線性關(guān)系，則 選用線性回歸方程y=bx+a）.,（4）按一定規(guī)則估計(jì)回歸方程中的參數(shù)（如最小二乘法）。,（5）得出結(jié)果后分析殘