應(yīng)用多元統(tǒng)計(jì)分析因子分析

1、因子分析Factor Analysis研究相關(guān)陣或協(xié)方差陣的內(nèi)部依賴(lài)關(guān)系, 將多個(gè)變量綜合為少數(shù)幾個(gè)因子,以再現(xiàn)原始變量與因子之間的關(guān)系,例： 心理學(xué)家Charles Spearman (100多 年前), 學(xué)習(xí)成績(jī)是由一個(gè)智力因子g唯一決定的. 目前考試系統(tǒng): 語(yǔ)言(verbal), 數(shù)學(xué)(mathematical), 邏輯(logical),例：100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)。 智能因子，因子負(fù)荷,

2、記：數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)成績(jī)分別為：X1, X2, X3, X4, X5, X6 其中 F對(duì)所有Xi都起作用的公共因子 (智能因子)-不可觀測(cè); ai表示第i個(gè)科目在智能高低因子上的 體現(xiàn), 稱(chēng)為因子載荷; 是Xi特有的特殊因子,可以把模型推廣到多個(gè)因子的情況，如含數(shù)學(xué)推導(dǎo)因子，記

3、憶因子，計(jì)算因子等分別記為：F1, F2, …, Fm 其中 F1, F2, …, Fm又被稱(chēng)為潛在因子， 是相互不相關(guān)不可觀測(cè)的， 是對(duì)所有Xi都起作用的公共因子 (作用可大可小); aij 稱(chēng)為因子載荷; 是Xi特有的特殊因子,因子分析的主要應(yīng)用： 1

4、. 尋求內(nèi)部結(jié)構(gòu), 找出少數(shù)幾個(gè)因子, 以再現(xiàn)它們與原始變量間的內(nèi)在聯(lián)系2. 用于分類(lèi), 對(duì)p個(gè)變量或n個(gè)樣本分類(lèi)R型因子分析：用變量之間的相關(guān)關(guān)系 對(duì)變量或樣本分類(lèi)Q型因子分析：用樣本之間的相關(guān)關(guān)系 對(duì)變量或樣本分類(lèi),1. 不是研究自變量和因變量間關(guān)系，而是在探尋可能無(wú)法觀察的自變量(因子)的過(guò)程中，研究因變量之間

5、的關(guān)系. 回答：A. 找?guī)讉€(gè)因子？ B. 因子的含義？C. 因子解釋數(shù)據(jù)的程度？D. 隨機(jī)成分解釋數(shù)據(jù)程度 2. 啟發(fā)式Heuristic：不是絕對(duì)的模型,正交因子模型,矩陣形式,其中: 可觀測(cè)公共因子 不可觀測(cè)

6、特殊因子 與 F 互不相關(guān) 因子載荷陣,附頁(yè),由于有方程： 如用標(biāo)準(zhǔn)化的變量X，協(xié)方差陣被換成相關(guān)陣,,附頁(yè),還有 如用標(biāo)準(zhǔn)化的變量X由于系數(shù)ai1, ai2, …, aim 度量了Xi可由F1, F2, …, Fm的線性組合表示的程度, 稱(chēng)作載荷（loading, 心理學(xué)). 即稱(chēng) aij 為第i個(gè)變量在

7、第j個(gè)因子上的載荷,,附頁(yè),由于其中 是全部公共因子對(duì)變量Xi的總方差的貢 獻(xiàn), 稱(chēng)為共因子方差. 它反映了變量Xi對(duì) 公共因子F的依賴(lài)程度, 也稱(chēng)為變量Xi的 公共度(communalities) 是由與Xi有關(guān)的特定因子產(chǎn)生的方差， 稱(chēng)為剩余方差,,附頁(yè),在因子載荷陣A中, 求A的各列的平方和 是第j個(gè)公共因子Fj對(duì)所有變量X的總影

8、 響, 也稱(chēng)它為公共因子Fj的方差貢獻(xiàn). 的值越大, 表明Fj對(duì)X的貢獻(xiàn)越大. 可以將它們排序，得到公共因子的貢獻(xiàn)排序,,附頁(yè),注1：因子模型作量綱變化X*=CX, 其中C為對(duì)角陣有即模型不受量綱影響,,附頁(yè),注2：因子模型做變換 , 其中G為m×m正交陣,有如將 看成公共因子, 則 可看成

9、因子載荷陣, 即公共因子和因子載荷陣不唯一.,,附頁(yè),方差最大的正交旋轉(zhuǎn) (varimax)記 其中而 記 做旋轉(zhuǎn)使p個(gè)數(shù)據(jù) 的方差最大,,附頁(yè),幾何解釋?zhuān)喝绻浧溟L(zhǎng)度為1, 即夾角余弦它恰好等于變量 與 的相關(guān)系數(shù)？！,,附頁(yè),公共因子不一定是正交的

10、 ---斜交因子模型把公共因子表示成變量的線性組合 ---因子得分,,附頁(yè),因子模型 1. 因子得分的加權(quán)最小二乘估計(jì)：2. 假設(shè) 可得到因子得分的最大似然估計(jì)（巴特來(lái)因子得分）3. 回歸法權(quán)（湯普森因子得分）,,附頁(yè),主成分分析與因子分

11、析的公式上的區(qū)別,主成分分析,因子分析(m<p)SPSS用主成分輸出Component matrix,因子得分 SPSS用主成分輸出中的Component score coefficient matrix (選 Display factor score coefficient matrix) prin1 和f1 的差別在于前者系數(shù)是單位向量,參數(shù)估計(jì)方法：1. 主成分法2. 主因子解3. 極大似然法,,附頁(yè)

12、,主成分法設(shè)樣本協(xié)方差陣S的特征向量為特征值為 則S有譜分解其中被看作 的主成分分解,,附頁(yè),主因子解對(duì)相關(guān)陣R出發(fā), 設(shè) 則有約相關(guān)陣： . 給定對(duì)角陣D作初始值可得 , 記其特征向量為特征值為 記用

13、 作為新D，重復(fù)上面計(jì)算直到 收斂，稱(chēng)此分解為主因子解,,附頁(yè),極大似然法在正交因子模型中設(shè)共因子 和特殊因子 服從正態(tài)分布則 來(lái)自正態(tài)分布設(shè) 取 似然函數(shù) 中， A和D未知 上述等式滿

14、足似然方程式用迭代方法求極大似然解,,附頁(yè),SPSS數(shù)據(jù)形式,SPSS-因子分析,打開(kāi)studentscore.sav，選Analyze－Data Reduction－Factor Analysis 進(jìn)入主對(duì)話框；把math、phys、chem、literat、history、english選入Variables，點(diǎn)擊ExtractionA 在Method可選擇 Principal ComponentsB 在Analysis選

15、Covariance matrix （X不做標(biāo)準(zhǔn)化）；選Correlation matrix （X標(biāo)準(zhǔn)化）C 在Display可選unrotated factor soluation和畫(huà)碎石圖就選Scree plotD 在Extract選項(xiàng)可以按照特征值的大小選主成分，也可選主成分的數(shù)目Number of factors (2) 之后選Continue。,點(diǎn)擊RotationA 在Method選一個(gè)旋轉(zhuǎn)方法如varimaxB

16、在Display選Rotated solution（以輸出和旋轉(zhuǎn)有關(guān)的結(jié)果）和Loading plot（以輸出載荷圖）；之后選Continue點(diǎn)擊Scores，再選擇Save as variables（因子得分就會(huì)作為變量存在數(shù)據(jù)中的附加列上）和計(jì)算因子得分的方法（比如Regression）；要想輸出Component Score Coefficient Matrix表，就要選擇Display factor score coeffic

17、ient matrix；之后選Continue。這時(shí)點(diǎn)OK即可。,這里的Initial Eigenvalues就是這里的六個(gè)特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭兩個(gè)成分特征值累積占了總方差的81.142%。后面的特征值的貢獻(xiàn)越來(lái)越少。,特征值的貢獻(xiàn)還可以從SPSS的所謂碎石圖看出,原始六主成分,用x1, x2, x3, x4, x5, x6來(lái)表示math（數(shù)學(xué)）， phys（物理），chem（化學(xué)），literat（語(yǔ)文），history（

18、歷史），english（英語(yǔ)）等變量。選兩個(gè)因子f1和f2,如果選兩個(gè)有,SPSS輸出為,> 0.806^2+0.353^2= 0.774245> 0.674^2+0.531^2=0.736237> 0.675^2+0.513^2=0.718794,與兩個(gè)因子的關(guān)系,旋轉(zhuǎn)后（varmax）,SPSS輸出communalities 和varimax旋轉(zhuǎn)前后component matrix 比較,> 0.806^

19、2+0.353^2= 0.774245> 0.674^2+0.531^2=0.736237> 0.675^2+0.513^2=0.718794,> 0.387^2+0.790^2=0.773869> 0.172^2+0.841^2=0.736865> 0.184^2+0.827^2=0.717785> 0.879^2+0.343^2=0.89029> 0.911^2+0.201^2=