基于r語(yǔ)言的pls算法的實(shí)現(xiàn)及研究

1、基于R語(yǔ)言的PLS算法的實(shí)現(xiàn)及研究,目錄,使用的開(kāi)發(fā)工具偏最小二乘的設(shè)計(jì)思想基于R語(yǔ)言、MATLAB的偏最小二乘的實(shí)現(xiàn)通徑分析測(cè)定系數(shù)實(shí)驗(yàn)分析,使用的開(kāi)發(fā)工具,R 語(yǔ)言(R是用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境。它是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具。)MATLAB(它是一種以矩陣運(yùn)算為基礎(chǔ)的交互式程序語(yǔ)言。它作為一種編程語(yǔ)言和可視化工具,可解決工程、科學(xué)計(jì)算和數(shù)學(xué)學(xué)科中許多問(wèn)題。),偏最小二乘回歸法,最小二乘,偏最小二乘

2、,1.數(shù)目較少2.無(wú)多重共線性3.各解釋變量與反應(yīng)變量之間的關(guān)系易于解釋,1.在自變量存在嚴(yán)重多重共線性時(shí)可以進(jìn)行回歸建模；2.在樣本點(diǎn)個(gè)數(shù)比變量個(gè)數(shù)(維數(shù))明顯過(guò)少時(shí)可以進(jìn)行 回歸建模；3. PLS模型可以識(shí)別系統(tǒng)信息與噪聲；4. PLS模型中，每一個(gè)自變量的回歸系數(shù)容易解釋；5. PLS最終回歸模型中包含原有的所有自變量。,偏最小二乘回歸法,算法的設(shè)計(jì)思想,,①兩組潛變量分別最大程度承載自變量與因變量的變異信息

3、；②二者之間的協(xié)方差最大化(相關(guān)程度最大)。,算法的設(shè)計(jì)思想,提取多少個(gè)主成分最合適？？？,交叉性檢驗(yàn),,,>=0.0975,實(shí)例分析（基于MATLAB）,實(shí)例分析,在testpls01.m文件中添加下列幾行代碼。%以下計(jì)算決定系數(shù)的R^2SST=sum((ppz(:,10)-mu(1,10)).^2); SSR= sum((ch0+ppz(:,1:9)*xish-mu(1,10)).^2);RR=SS

4、R/SST;,得到復(fù)測(cè)定系數(shù)為 R^2=0.927,由表可知，當(dāng)我們主成分取三個(gè)，才能更好的擬合方程，擬合結(jié)果如下y=0.0916+0.2229x1+0.2167x2+0.0964x3+0.0292x4+(-0.1552)x5+1.0706x6+(-5.8149)x7+-0.0155 x8+0.0194x9,實(shí)例分析（基于R）,（1）pls包的安裝以及載入>install.packages("pls")

5、>library(pls),（2）數(shù)據(jù)的導(dǎo)入>C1C2<-read.csv("C:\\Users\\Administrator\\Desktop\\data\\data2.csv")#導(dǎo)入自變量和因變量的樣本數(shù)據(jù),（3）數(shù)據(jù)的標(biāo)準(zhǔn)化Xpls1<-plsr(Y~X,ncomp=3,validation="LOO",jackknife=TRUE)#進(jìn)行偏最小二乘回歸，模

6、型存為對(duì)象pls1,,>summary(pls1,what="all")#顯示回歸結(jié)果(包括PRESS與變異解釋度)其中，validation="LOO"表示使用留一交叉驗(yàn)證計(jì)算PRESS，jackknife=TRUE,表示使用jackknife法估計(jì)回歸系數(shù)方差(為后面的顯著性檢驗(yàn)做準(zhǔn)備)．在沒(méi)給定成分個(gè)數(shù)的情況下，會(huì)默認(rèn)使用所有的主成分進(jìn)行回歸，因此我們需要在選擇的成分個(gè)數(shù)盡可能小的

7、前提下，選擇使PRESS最小或幾乎不變的成分個(gè)數(shù)．假設(shè)選定了成分個(gè)數(shù)為m，重新進(jìn)行回歸，并對(duì)回歸系數(shù)假設(shè)檢驗(yàn)。,其中CV即為不同主成分個(gè)數(shù)對(duì)應(yīng)的PRESS（殘差值），adjcv為調(diào)整后的PRESS。TRAINING:%varianceexplained一欄為主成分對(duì)各變量的累積貢獻(xiàn)率．由結(jié)果可知，主成分個(gè)數(shù)為4個(gè)時(shí)，模型在經(jīng)過(guò)留一交叉驗(yàn)證法后求得的PRESS總和最小，隨著成分個(gè)數(shù)的增加，PRESS值也沒(méi)有太大改變，并且4個(gè)成分對(duì)各個(gè)因變

8、量的累積貢獻(xiàn)率也基本達(dá)到了穩(wěn)定，因此定下回歸的成分個(gè)數(shù)m=4．,,（5）指定主成分個(gè)數(shù)之后，進(jìn)行第二次線性曲線擬合，最后求出因變量和自變量的相關(guān)系數(shù)。根據(jù)成分?jǐn)?shù)m=4，建立最終模型:>pls2coef(pls2)#得到回歸系數(shù),,4comps,表1 因變量與自變量之間的標(biāo)準(zhǔn)回歸系數(shù),y1=0.147022336x1+0.106558962x2+0.100451920x3+0.104259945x4-0.059733499x

9、5+0.605248435x6-0.478575361x7-0.008575145x8+0.015589996x9以此類推y2,y3,y4,y5,y6,y7,通徑分析,概念：多元線性回歸系數(shù)間不能直接比較各因子間的效應(yīng)大小，因?yàn)楦骰貧w系數(shù)間都帶有不同的量綱，再者多變量的關(guān)系中，往往都不是獨(dú)立的，有的還要研究xi通過(guò)xj對(duì)因變量y的影響，而通徑系數(shù)就能有效的表示相關(guān)變量間原因?qū)Y(jié)果的直接影響或間接影響的效應(yīng)，從而區(qū)分因子的相對(duì)重要性及其

10、關(guān)系。作用：通徑分析（pathanalysis）可用于分析多個(gè)自變量與因變量之間的線性關(guān)系，是回歸分析的拓展，可以處理較為復(fù)雜的變量關(guān)系。如當(dāng)自變量數(shù)目比較多，且自變量間相互關(guān)系比較復(fù)雜（如：有些自變量間的關(guān)系是相關(guān)關(guān)系，有些自變量間則可能是因果關(guān)系）或者某些自變量是通過(guò)其他的自變量間接地對(duì)應(yīng)變量產(chǎn)生影響，這時(shí)可以采用通徑分析。,通徑分析,思路：通徑分析在多元回歸的基礎(chǔ)上將相關(guān)系數(shù)分解為直接通徑系數(shù)(某一自變量對(duì)因變量的直接作用)

11、和間接通徑系數(shù)(該自變量通過(guò)其他自變量對(duì)因變量的間接作用)。通徑分析的理論已證明，任一自變量xi與因變量Y之間的簡(jiǎn)單相關(guān)系數(shù)(riy)=xi與Y之間的直接通徑系數(shù)(Piy)+所有xi與Y的間接通徑系數(shù)，任一自變量xi對(duì)Y的間接通徑系數(shù)=相關(guān)系數(shù)(rij)×通徑系數(shù)(Pij)。,實(shí)例分析,運(yùn)用SPSS軟件做逐步回歸得到通徑系數(shù)。運(yùn)用SPSS軟件只需要“Analyze—Regression—Linear”這一個(gè)程序就可以獲

12、得通徑系數(shù)。我們現(xiàn)在以數(shù)據(jù)表1中藥量效關(guān)系為例，建立線性回歸方程并計(jì)算通徑系數(shù),2. 用matlab通過(guò)偏最小二乘回歸計(jì)算得到通徑系數(shù),測(cè)定系數(shù),通過(guò)兩種方法的到的結(jié)果如下表：,結(jié)論，方法一利用SPSS的逐步回歸得到直接通徑系數(shù)后刪除變量提高方程的擬合效果沒(méi)有作用，反而使得R^2值下降了，方法二基于MATLAB的偏最小二乘回歸得到直接通徑系數(shù)后刪除變量對(duì)方程的擬合效果具有提高的作用，這個(gè)實(shí)驗(yàn)說(shuō)明了篩選變量對(duì)方程的擬合效果是具有重要意