線性回歸模型參數(shù)估計(jì)及異常點(diǎn)檢測(cè)方法改進(jìn).pdf

1、線性回歸模型作為統(tǒng)計(jì)學(xué)科中最基礎(chǔ)、應(yīng)用最廣泛的數(shù)學(xué)模型，是探求變量間關(guān)系、分析數(shù)據(jù)有效性的有力工具。本文主要圍繞:線性回歸模型參數(shù)估計(jì)方法、線性回歸模型異常點(diǎn)檢測(cè)方法兩部分展開研究，針對(duì)各自的研究方法給予了理論上的改進(jìn)與程序上的實(shí)現(xiàn)。
　　回歸模型建立的目的在于得到變量之間的相關(guān)關(guān)系，即參數(shù)估計(jì)。經(jīng)典的參數(shù)估計(jì)思想是使估計(jì)偏差的平方最小，稱為最小二乘估計(jì)。在Gauss-Markov假設(shè)下，最小二乘估計(jì)是無偏估計(jì)類中方差最小的估計(jì)方

2、法。當(dāng)自變量之間存在某種近似的線性關(guān)系時(shí)，會(huì)導(dǎo)致最小二乘估計(jì)的均方誤差很大。前人針對(duì)傳統(tǒng)方法的不足，提出了主成分估計(jì)與嶺估計(jì)。本文對(duì)上述方法進(jìn)行了綜合與改進(jìn)，提出了K綜合主成分估計(jì)。該方法將特征值矩陣Λ按照矩陣XTX特征值的大小劃分為Λ1和Λ2兩部分，并在包含少部分信息的Λ2中加上K=diag(kq+1，…，kp)，其中常數(shù)kj≥0，j=q+1，…，p.然后給出了K綜合主成分估計(jì)在均方誤差意義下優(yōu)于最小二乘估計(jì)以及廣義嶺估計(jì)的條件。傳統(tǒng)

3、的嶺估計(jì)只考慮對(duì)特征值加同一個(gè)常數(shù)k的情況，未考慮對(duì)不同特征值加不同常數(shù)的情況。本文又提出了函數(shù)型嶺估計(jì)，在特征值矩陣Λ1中加上關(guān)于K的函數(shù)矩陣F(K)=diag(f1(k1)，f2（k2），…，fq(kq))，其中已知函數(shù)fi(ki)，i=1，…，q滿足一定的非負(fù)與可微性條件。理論上證明了函數(shù)型嶺估計(jì)在均方誤差意義下優(yōu)于主成分估計(jì)和最小二乘估計(jì)的條件，以及在廣義均方誤差意義下優(yōu)于最小二乘估計(jì)的條件。
　　回歸模型建立時(shí)需要剔除與

4、原定模型偏差大的數(shù)據(jù)，即異常點(diǎn)檢驗(yàn)。本文對(duì)異常點(diǎn)檢驗(yàn)的常用方法進(jìn)行了細(xì)致的討論與研究。在數(shù)據(jù)刪除模型中，刪除一行或多行樣本數(shù)據(jù)，會(huì)遇到設(shè)計(jì)陣X為非列滿秩的情況。而最小二乘估計(jì)是基于設(shè)計(jì)陣列滿秩的假設(shè)下進(jìn)行參數(shù)估計(jì)的。若不滿足，則矩陣XTX無法求逆。為了克服這種情況，本文考慮利用廣義逆的思想，通過奇異值分解的方法來求矩陣XTX的廣義逆;在均值漂移模型中，t統(tǒng)計(jì)量是判斷異常點(diǎn)的常用統(tǒng)計(jì)量。本文利用MATLAB軟件編程，隨機(jī)生成了自變量和誤差