基于r語言的pls算法的實現(xiàn)及研究

1、基于R語言的PLS算法的實現(xiàn)及研究,目錄,使用的開發(fā)工具偏最小二乘的設計思想基于R語言、MATLAB的偏最小二乘的實現(xiàn)通徑分析測定系數(shù)實驗分析,使用的開發(fā)工具,R 語言(R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具。)MATLAB(它是一種以矩陣運算為基礎的交互式程序語言。它作為一種編程語言和可視化工具,可解決工程、科學計算和數(shù)學學科中許多問題。),偏最小二乘回歸法,最小二乘,偏最小二乘

2、,1.數(shù)目較少2.無多重共線性3.各解釋變量與反應變量之間的關(guān)系易于解釋,1.在自變量存在嚴重多重共線性時可以進行回歸建模；2.在樣本點個數(shù)比變量個數(shù)(維數(shù))明顯過少時可以進行 回歸建模；3. PLS模型可以識別系統(tǒng)信息與噪聲；4. PLS模型中，每一個自變量的回歸系數(shù)容易解釋；5. PLS最終回歸模型中包含原有的所有自變量。,偏最小二乘回歸法,算法的設計思想,,①兩組潛變量分別最大程度承載自變量與因變量的變異信息

3、；②二者之間的協(xié)方差最大化(相關(guān)程度最大)。,算法的設計思想,提取多少個主成分最合適？？？,交叉性檢驗,,,>=0.0975,實例分析（基于MATLAB）,實例分析,在testpls01.m文件中添加下列幾行代碼。%以下計算決定系數(shù)的R^2SST=sum((ppz(:,10)-mu(1,10)).^2); SSR= sum((ch0+ppz(:,1:9)*xish-mu(1,10)).^2);RR=SS

4、R/SST;,得到復測定系數(shù)為 R^2=0.927,由表可知，當我們主成分取三個，才能更好的擬合方程，擬合結(jié)果如下y=0.0916+0.2229x1+0.2167x2+0.0964x3+0.0292x4+(-0.1552)x5+1.0706x6+(-5.8149)x7+-0.0155 x8+0.0194x9,實例分析（基于R）,（1）pls包的安裝以及載入>install.packages("pls")

5、>library(pls),（2）數(shù)據(jù)的導入>C1C2<-read.csv("C:\\Users\\Administrator\\Desktop\\data\\data2.csv")#導入自變量和因變量的樣本數(shù)據(jù),（3）數(shù)據(jù)的標準化Xpls1<-plsr(Y~X,ncomp=3,validation="LOO",jackknife=TRUE)#進行偏最小二乘回歸，模

6、型存為對象pls1,,>summary(pls1,what="all")#顯示回歸結(jié)果(包括PRESS與變異解釋度)其中，validation="LOO"表示使用留一交叉驗證計算PRESS，jackknife=TRUE,表示使用jackknife法估計回歸系數(shù)方差(為后面的顯著性檢驗做準備)．在沒給定成分個數(shù)的情況下，會默認使用所有的主成分進行回歸，因此我們需要在選擇的成分個數(shù)盡可能小的

7、前提下，選擇使PRESS最小或幾乎不變的成分個數(shù)．假設選定了成分個數(shù)為m，重新進行回歸，并對回歸系數(shù)假設檢驗。,其中CV即為不同主成分個數(shù)對應的PRESS（殘差值），adjcv為調(diào)整后的PRESS。TRAINING:%varianceexplained一欄為主成分對各變量的累積貢獻率．由結(jié)果可知，主成分個數(shù)為4個時，模型在經(jīng)過留一交叉驗證法后求得的PRESS總和最小，隨著成分個數(shù)的增加，PRESS值也沒有太大改變，并且4個成分對各個因變

8、量的累積貢獻率也基本達到了穩(wěn)定，因此定下回歸的成分個數(shù)m=4．,,（5）指定主成分個數(shù)之后，進行第二次線性曲線擬合，最后求出因變量和自變量的相關(guān)系數(shù)。根據(jù)成分數(shù)m=4，建立最終模型:>pls2coef(pls2)#得到回歸系數(shù),,4comps,表1 因變量與自變量之間的標準回歸系數(shù),y1=0.147022336x1+0.106558962x2+0.100451920x3+0.104259945x4-0.059733499x

9、5+0.605248435x6-0.478575361x7-0.008575145x8+0.015589996x9以此類推y2,y3,y4,y5,y6,y7,通徑分析,概念：多元線性回歸系數(shù)間不能直接比較各因子間的效應大小，因為各回歸系數(shù)間都帶有不同的量綱，再者多變量的關(guān)系中，往往都不是獨立的，有的還要研究xi通過xj對因變量y的影響，而通徑系數(shù)就能有效的表示相關(guān)變量間原因?qū)Y(jié)果的直接影響或間接影響的效應，從而區(qū)分因子的相對重要性及其

10、關(guān)系。作用：通徑分析（pathanalysis）可用于分析多個自變量與因變量之間的線性關(guān)系，是回歸分析的拓展，可以處理較為復雜的變量關(guān)系。如當自變量數(shù)目比較多，且自變量間相互關(guān)系比較復雜（如：有些自變量間的關(guān)系是相關(guān)關(guān)系，有些自變量間則可能是因果關(guān)系）或者某些自變量是通過其他的自變量間接地對應變量產(chǎn)生影響，這時可以采用通徑分析。,通徑分析,思路：通徑分析在多元回歸的基礎上將相關(guān)系數(shù)分解為直接通徑系數(shù)(某一自變量對因變量的直接作用)

11、和間接通徑系數(shù)(該自變量通過其他自變量對因變量的間接作用)。通徑分析的理論已證明，任一自變量xi與因變量Y之間的簡單相關(guān)系數(shù)(riy)=xi與Y之間的直接通徑系數(shù)(Piy)+所有xi與Y的間接通徑系數(shù)，任一自變量xi對Y的間接通徑系數(shù)=相關(guān)系數(shù)(rij)×通徑系數(shù)(Pij)。,實例分析,運用SPSS軟件做逐步回歸得到通徑系數(shù)。運用SPSS軟件只需要“Analyze—Regression—Linear”這一個程序就可以獲

12、得通徑系數(shù)。我們現(xiàn)在以數(shù)據(jù)表1中藥量效關(guān)系為例，建立線性回歸方程并計算通徑系數(shù),2. 用matlab通過偏最小二乘回歸計算得到通徑系數(shù),測定系數(shù),通過兩種方法的到的結(jié)果如下表：,結(jié)論，方法一利用SPSS的逐步回歸得到直接通徑系數(shù)后刪除變量提高方程的擬合效果沒有作用，反而使得R^2值下降了，方法二基于MATLAB的偏最小二乘回歸得到直接通徑系數(shù)后刪除變量對方程的擬合效果具有提高的作用，這個實驗說明了篩選變量對方程的擬合效果是具有重要意