多元線(xiàn)性回歸模型的有偏估計(jì)

1、1第二章第二章多元線(xiàn)性回歸模型的有偏估計(jì)多元線(xiàn)性回歸模型的有偏估計(jì)模型的參數(shù)估計(jì)依賴(lài)于觀測(cè)樣本，樣本是隨機(jī)的(至少Y是隨機(jī)的)，因此估計(jì)量也是隨機(jī)的，不一定恰好等于被估計(jì)參數(shù)的真值。但是我們希望多次估計(jì)的結(jié)果的期望值接近或等于真值，即22)?()?(??????EE這就叫無(wú)偏估計(jì)。無(wú)偏估計(jì)被認(rèn)為是一個(gè)估計(jì)量應(yīng)有的優(yōu)良性質(zhì)。但是在一些場(chǎng)合，滿(mǎn)足無(wú)偏性的估計(jì)量卻不具備其它應(yīng)有的優(yōu)良性，比如說(shuō)穩(wěn)定性、容許性。統(tǒng)計(jì)學(xué)家提出了一些新的估計(jì)方法，它

2、們往往不具備無(wú)偏性，但在特定場(chǎng)合綜合起來(lái)考慮還是解決問(wèn)題較好的。本章就分別介紹這些特定場(chǎng)合下的有偏估計(jì)。第一節(jié)第一節(jié)設(shè)計(jì)矩陣列復(fù)共線(xiàn)與嶺回歸設(shè)計(jì)矩陣列復(fù)共線(xiàn)與嶺回歸一、設(shè)計(jì)矩陣列復(fù)共線(xiàn)的影響一、設(shè)計(jì)矩陣列復(fù)共線(xiàn)的影響上一章最后一節(jié)講的是設(shè)計(jì)矩陣列向量完全線(xiàn)性相關(guān)，|X′X|=0的情況。實(shí)際工作中常遇到的是，設(shè)計(jì)矩陣的列向量存在近似線(xiàn)性相關(guān)(稱(chēng)為復(fù)共線(xiàn)(multicollinearity))，|X′X|≈0。此時(shí)一般最小二乘方法盡管可以進(jìn)

3、行，但估計(jì)的性質(zhì)變壞，主要是對(duì)觀測(cè)誤差的穩(wěn)定性變差，嚴(yán)重時(shí)估計(jì)量可能變得面目全非。例如我們建立二元線(xiàn)性回歸模型（2.1.1）????21XXY有關(guān)資料在下面運(yùn)算過(guò)程可以看到。看一看原始資料，它近似滿(mǎn)足Yi=X1iX2i應(yīng)該估計(jì)出?？墒俏覀冋{(diào)用普通最小二乘回歸程序，運(yùn)算結(jié)果卻是1?1?0?210??????（2.1.2）?????21566.14330.00033.0XXY對(duì)現(xiàn)有數(shù)據(jù)擬合的還挺好，兩條曲線(xiàn)幾乎成了一條曲線(xiàn)(圖2.1.1.

4、1)，F(xiàn)值為303744，但是代入X1=0X2=10預(yù)測(cè)值卻為15.66，這與原模型應(yīng)有的預(yù)測(cè)值10相距甚遠(yuǎn)。嶺回歸與嶺跡圖計(jì)算程序例2.1.4例214.D數(shù)據(jù)文件中n=8M=2要顯示原始資料嗎0=不顯示1=顯示2.0100.99001.01003要作回歸預(yù)測(cè)嗎鍵入0=不預(yù)測(cè)1=要預(yù)測(cè)(0)要打印擬合數(shù)據(jù)嗎0=不打印1=打印(1)Y的觀測(cè)值Y的擬合值差值2.01002.0136.00361.99001.9953.00534.01003.

5、9987.01135.99006.0030.01308.01007.9977.01237.99007.9881.001910.010010.0001.009911.990012.0035.0135計(jì)算結(jié)束。下面顯示擬合圖像。圖2.1.1.10246810121412345678原始數(shù)據(jù)擬合數(shù)據(jù)對(duì)此我們可以作如下理論分析。作為β的估計(jì)是否優(yōu)良，應(yīng)該考察它與β的接近程??度，這可以用的均方誤差(MeanSquareErr)來(lái)度量：??（2.