支持向量回歸機算法理論研究與應用.pdf

1、支持向量機 (Support Vector Machine，SVM) 是由Boser,Guyon 和 Vapnik發(fā)明，并首次在計算學習理論(COLT) 1992年年會論文中提出。它是繼人工神經(jīng)網(wǎng)絡后，智能計算領(lǐng)域發(fā)展的又一里程碑。支持向量機以嚴格證明的統(tǒng)計學習理論為基礎(chǔ)，使用核函數(shù)把數(shù)據(jù)從樣本空間映射到高維特征空間，將非線性問題轉(zhuǎn)化為線性可分問題，獲得最優(yōu)解，是一重大的理論創(chuàng)新。支持向量機有嚴密的數(shù)學基礎(chǔ)，訓練結(jié)果只與支持向量有關(guān)，且

2、泛化性強，成為了解決非線性問題的重要工具，因此，受到智能計算領(lǐng)域?qū)W者的廣泛關(guān)注，在模式分類和回歸領(lǐng)域得到了廣泛的應用。 本文在前人成果及前期工作的基礎(chǔ)上，根據(jù)支持向量機訓練結(jié)果只與支持向量有關(guān)的特性，重點研究了大樣本條件下，以降低核矩陣規(guī)模、逐步搜索支持向量、快速構(gòu)建支持向量回歸機(Support Vector Regression，SVR)為目的的SVR算法；以及在異常數(shù)據(jù)剔除、故障檢測、沒有確切定義的目標變量定義和鐵水脫硫、

3、提釩中的應用。論文的主要創(chuàng)新點可以歸納如下： (1) 簡要證明支持向量回歸機存在近似超平面。根據(jù)支持向量機訓練結(jié)果只與支持向量有關(guān)，與非支持向量無關(guān)，且支持向量分布于超平面附近也必然分布于其近似超平面附近的特性，提出了從近似超平面出發(fā)構(gòu)建的支持向量回歸機算法——支持向量逐步回歸機算法。算法的核心思想是：應用核函數(shù)尼k(x,x<,i>)(x<,i>為支持向量)轉(zhuǎn)換訓練樣本到特征空間；計算在特征空間中樣本點到近似超平面的距離，并按距

4、離升序?qū)颖九判?；抽取距近似超平面距離最小的m個樣本與上次訓練的近似超平面的 k 個支持向量一起構(gòu)成新的訓練樣本子集；訓練新的近似超平面；這樣反復循環(huán)，逐步搜索支持向量。 由于轉(zhuǎn)換訓練樣本到特征空間的時間復雜度與近似超平面支持向量個數(shù) k 有關(guān)，轉(zhuǎn)換計算費時，用|y-f(x)|代替樣本點到近似超平面的距離改進支持向量逐步回歸機算法，可減少訓練樣本從樣本空間向特征空間轉(zhuǎn)換的時間花銷。 由于每次從搜索剩余樣本中抽取距近似超平

5、面最近的m個樣本時，按照距近似超平面的距離升序?qū)τ柧殬颖九判蛞ㄙMO(ι<'2>)的時間花銷，改進該步可降低支持向量逐步回歸機算法的時間復雜度。其改進思想是：將搜索剩余樣本的前面 m個樣本距近似超平面的距離和樣本編號存入2m個存儲單元中；求取這m個樣本中距近似超平面的距離最大樣本的距離及樣本編號；每計算一個新樣本距近似超平面的距離就與之比較，如果新樣本的距離小于這個最大距離，就用它置換存儲的m個樣本中距近似超平面距離最大樣本；執(zhí)行一次循

6、環(huán)抽取m個樣本。改進后，構(gòu)建新的訓練樣本子集的時間復雜度降低為O(ι)。并利用整數(shù)規(guī)劃對 m 的取值進行了優(yōu)化。最后，進行仿真實驗，驗證了支持向量逐步回歸機算法及其改進算法的收斂性和有效性。 (2) 根據(jù)LS-SVM不具有稀疏解的特性，提出了LS-SVM組合優(yōu)化算法。其算法思想是：運用兩模型的組合優(yōu)化的解析解，將大樣本隨機劃分的各訓練樣本子集(每訓練樣本子集包含p個樣本)獨自訓練的LS-SVM依次組合—稀疏化(保留k個支持向量)

7、一訓練這k個支持向量的LS-SVM-再組合，……，這樣循環(huán)，獲得最終的LS-SVM。LS-SVM組合優(yōu)化算法的時間復雜度從傳統(tǒng)LS SVM算法O(ι<'3>)的時間復雜度降低為O((k+p)<'3>)。 由于稀疏化算法非常耗時，用組合后直接稀疏掉 p 個(劃分的訓練樣本子集包含的樣本個數(shù))訓練樣本改進了上述算法，減少稀疏化的時間花銷。并利用整數(shù)規(guī)劃對劃分的訓練樣本子集包含的樣本個數(shù)p進行了優(yōu)化。 最后，進行仿真實驗，驗證

8、了LS-SVM組合優(yōu)化算法及其改進算法的收斂性和有效性。 (3) 分析了支持向量回歸中異常數(shù)據(jù)的特征，提出了支持向量回歸中剔除異常數(shù)據(jù)算法。仿真結(jié)果顯示，提出的剔除支持向量回歸中異常數(shù)據(jù)的算法是有效的。 根據(jù)支持向量回歸中剔除異常數(shù)據(jù)算法原理，提出了用系統(tǒng)正常運行數(shù)據(jù)建立支持向量回歸機，進行故障檢測的算法思想。根據(jù)系統(tǒng)輸出的時變性，實現(xiàn)了建立靜態(tài)模型的在線故障檢測算法和自適應動態(tài)模型的故障檢測算法，并進行仿真，其結(jié)果表明