線性回歸模型中多重共線性問(wèn)題的應(yīng)對(duì)策略及其幾點(diǎn)改進(jìn).pdf

1、在解決許多實(shí)際問(wèn)題中，需要使用解釋變量對(duì)響應(yīng)變量建立預(yù)測(cè)方程，但當(dāng)涉及的解釋變量較多時(shí)，解釋變量間往往存在相關(guān)性；或者當(dāng)取得的樣本點(diǎn)數(shù)量小于解釋變量個(gè)數(shù)時(shí)，都可以引起多重共線性問(wèn)題，這時(shí)如果仍采用普通的最小二乘法來(lái)建模，那么這種多重共線性就會(huì)嚴(yán)重危害參數(shù)的估計(jì)、擴(kuò)大模型誤差、破壞模型的穩(wěn)健性。 本文闡述了解決多重共線性問(wèn)題的三種方法：嶺回歸方法、主成分回歸方法、偏最小二乘回歸方法，并對(duì)這三種方法進(jìn)行了綜述，且對(duì)它們的性質(zhì)進(jìn)行了歸

2、納和總結(jié)，特別總結(jié)和歸納了基于方差最大性原則下的主成分分析的計(jì)算方法和步驟以及多因變量的偏最小二乘回歸方法的計(jì)算方法和步驟。 本文討論了嶺回歸、主成分回歸和偏最小二乘回歸的存在的一些問(wèn)題，在嶺回歸中采用了一種基于均方誤差無(wú)偏估計(jì)達(dá)到最小原則下選擇嶺參數(shù)K的新方法；在主成分回歸中我們采用主成分的加權(quán)殘差平方和來(lái)替代僅用殘差平方和來(lái)篩選特征值的方法，明顯改善了系統(tǒng)的誤差，使得模型的精確度有了較大的提高；在偏最小二乘估計(jì)中我們從計(jì)算的

3、約束條件著手，分析了解釋矩陣中有較多信息且與響應(yīng)變量具有較高相關(guān)性這種理想狀態(tài)下的矛盾，采用了用正交投影的辦法，把解釋矩陣中與響應(yīng)變量無(wú)關(guān)的成分扣除掉，經(jīng)過(guò)這樣處理的解釋矩陣便不存在含有大量與響應(yīng)變量無(wú)關(guān)的信息問(wèn)題，從而擴(kuò)寬了偏最小二乘回歸方法的使用范圍。同時(shí)還發(fā)現(xiàn)在偏最小二乘法當(dāng)中利用交叉有效性原則選取主成分個(gè)數(shù)時(shí)，交叉有效原則并不是總是有效的，通過(guò)例題進(jìn)行了說(shuō)明。并且采用了一種基于”殘差平方和的減小率”與Q2k準(zhǔn)則相結(jié)合的方法來(lái)確定