主成分分析法的原理應(yīng)用及計(jì)算步驟

1、一、概述在處理信息時(shí)，當(dāng)兩個(gè)變量之間有一定相關(guān)關(guān)系時(shí)，可以解釋為這兩個(gè)變量反映此課題的信息有一定的重疊，例如，高校科研狀況評(píng)價(jià)中的立項(xiàng)課題數(shù)例如，高?？蒲袪顩r評(píng)價(jià)中的立項(xiàng)課題數(shù)與項(xiàng)目經(jīng)費(fèi)、經(jīng)費(fèi)支出等之間會(huì)存在較高的相關(guān)性；學(xué)生綜合評(píng)價(jià)研究中的專與項(xiàng)目經(jīng)費(fèi)、經(jīng)費(fèi)支出等之間會(huì)存在較高的相關(guān)性；學(xué)生綜合評(píng)價(jià)研究中的專業(yè)基礎(chǔ)課成績(jī)與專業(yè)課成績(jī)、獲獎(jiǎng)學(xué)金次數(shù)等之間也會(huì)存在較高的相關(guān)性。而業(yè)基礎(chǔ)課成績(jī)與專業(yè)課成績(jī)、獲獎(jiǎng)學(xué)金次數(shù)等之間也會(huì)存在較高的相

2、關(guān)性。而變量之間信息的高度重疊和高度相關(guān)會(huì)給統(tǒng)計(jì)方法的應(yīng)用帶來(lái)許多障礙。變量之間信息的高度重疊和高度相關(guān)會(huì)給統(tǒng)計(jì)方法的應(yīng)用帶來(lái)許多障礙。為了解決這些問(wèn)題，最簡(jiǎn)單和最直接的解決方案是削減變量的個(gè)數(shù)，但這為了解決這些問(wèn)題，最簡(jiǎn)單和最直接的解決方案是削減變量的個(gè)數(shù)，但這必然又會(huì)導(dǎo)致信息丟失和信息不完整等問(wèn)題的產(chǎn)生。為此，人們希望探索一種必然又會(huì)導(dǎo)致信息丟失和信息不完整等問(wèn)題的產(chǎn)生。為此，人們希望探索一種更為有效的解決方法，它既能大大減少參與數(shù)

3、據(jù)建模的變量個(gè)數(shù)，同時(shí)也不會(huì)更為有效的解決方法，它既能大大減少參與數(shù)據(jù)建模的變量個(gè)數(shù)，同時(shí)也不會(huì)造成信息的大量丟失。主成分分析正式這樣一種能夠有效降低變量維數(shù)，并已造成信息的大量丟失。主成分分析正式這樣一種能夠有效降低變量維數(shù)，并已得到廣泛應(yīng)用的分析方法。得到廣泛應(yīng)用的分析方法。主成分分析以最少的信息丟失為前提，將眾多的原有變量綜合成較少幾個(gè)綜合指標(biāo)，通常綜合指標(biāo)（主成分）有以下幾個(gè)特點(diǎn)：?主成分個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于原有變量的個(gè)數(shù)主成分個(gè)數(shù)遠(yuǎn)遠(yuǎn)

4、少于原有變量的個(gè)數(shù)原有變量綜合成少數(shù)幾個(gè)因子之后，因子將可以替代原有變量參與數(shù)據(jù)建模，這將大大減少分析過(guò)程中的計(jì)算工作量。?主成分能夠反映原有變量的絕大部分信息主成分能夠反映原有變量的絕大部分信息因子并不是原有變量的簡(jiǎn)單取舍，而是原有變量重組后的結(jié)果，因此不會(huì)造成原有變量信息的大量丟失，并能夠代表原有變量的絕大部分信息。?主成分之間應(yīng)該互不相關(guān)主成分之間應(yīng)該互不相關(guān)通過(guò)主成分分析得出的新的綜合指標(biāo)（主成分）之間互不相關(guān)，因子參與數(shù)據(jù)建模

5、能夠有效地解決變量信息重疊、多重共線性等給分析應(yīng)用帶來(lái)的諸多問(wèn)題。?主成分具有命名解釋性主成分具有命名解釋性總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成少數(shù)幾個(gè)因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計(jì)分析方法少數(shù)幾個(gè)因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計(jì)分析方法。二、基本原理主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來(lái)眾多

6、的具有一定相關(guān)性的指標(biāo)X1，X2，…，XP（比如p個(gè)指標(biāo)），重新組合成一組較少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo)Fm來(lái)代替原來(lái)指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提取，使其既能最大程度的反映原變量Xp所代表的信息，又能保證新指標(biāo)之間保持相互無(wú)關(guān)（信息不重疊）。設(shè)F1表示原變量的第一個(gè)線性組合所形成的主成分指標(biāo)，即由數(shù)學(xué)知識(shí)可知，每一個(gè)主成分所提取的信息量11112121...ppFaXaXaX????可用其方差來(lái)度量，其方差其方差Var(F1)Var(F

7、1)越大，表示越大，表示F1F1包含的信息越多包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的線性組合中選取的F1應(yīng)該是X1，X2，…，XP的所有線性組合中方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來(lái)p個(gè)指標(biāo)的信息，再考慮選取第二個(gè)主成分指標(biāo)F2，為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，即F2與F1要保持獨(dú)立、不相關(guān)，用數(shù)學(xué)語(yǔ)言表達(dá)就是其協(xié)方差Cov(F1F2)=0，所以F2對(duì)應(yīng)的

8、單位特征向量就是主成分Fi的關(guān)于原變量的系數(shù)，則原變量的第ii?ia個(gè)主成分Fi為：Fi=Xia主成分的方差（信息）貢獻(xiàn)率用來(lái)反映信息量的大小，為：i?1miiii??????（3）選擇主成分最終要選擇幾個(gè)主成分，即F1F2……Fm中m的確定是通過(guò)方差（信息）累計(jì)貢獻(xiàn)率G(m)來(lái)確定11()pmikikGm???????當(dāng)累積貢獻(xiàn)率大于85%時(shí)，就認(rèn)為能足夠反映原來(lái)變量的信息了，對(duì)應(yīng)的m就是抽取的前m個(gè)主成分。（4）計(jì)算主成分載荷主成分

9、載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度，原來(lái)變量原來(lái)變量XjXj（j=1j=1，2，…，p）在諸主成分）在諸主成分FiFi（i=1i=1，2，…，m）上的荷載）上的荷載lijlij（i=1i=1，2，…，m；j=1j=1，2，…，p）。：()(1212)ijiijlZXaimjp??????在SPSS軟件中主成分分析后的分析結(jié)果中，“成分矩陣”反應(yīng)的就是主成分載荷矩陣。（5）計(jì)算主成分得分計(jì)算樣品在m個(gè)主成分上的得分：i=1

10、，2，…，m1122...iiipipFaXaXaX????實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)據(jù)變換：12...12...ijjijjxxxinjps????其中：，11njijixxn???2211()1njijjisxxn?????根據(jù)數(shù)學(xué)公式知道，①任何隨機(jī)變量對(duì)其作標(biāo)準(zhǔn)化變換后，其協(xié)方差與其相關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方