SVR的參數(shù)選擇及其應用.pdf

1、45年前F.Rosenblatt提出感知器模型以來，機器學習理論伴隨著計算機技術的發(fā)展取得了長足的進步。在經(jīng)歷一些挫折后，90年代后統(tǒng)計學習理論被引入到機器學習領域，SVM(Support Vector Machine，支持向量機)興起，它是基于結(jié)構風險最小化的學習模型。在SVM的研究中有兩個方向，一個是SVC(Support Vector Classify支持向量分類機)，另一個是SVR(Support Vector Regressi

2、on，支持向量回歸機)。在SVM中，參數(shù)的選擇對于求解具有至關重的作用。
　　 核函數(shù)的選擇在SVR模型中是一個比較重要的研究方向，現(xiàn)在常用的核函數(shù)都是正定的。SVR模型中引入非正定的核函數(shù)以后，原有的SVR問題無法轉(zhuǎn)化為凸二次規(guī)劃問題，因而無法用最優(yōu)化方法進行求解。
　　 現(xiàn)在對SVC的研究已經(jīng)相當深入，這主要表現(xiàn)在SVC的參數(shù)選擇問題已經(jīng)得到了基本解決，但對SVR的參數(shù)選擇的方法研究卻很少見。SVR的幾何框架[1]介

3、紹了SVC和SVR在幾何范疇里的關系，它把SVR和SVC聯(lián)系了在一起，即SVR問題在其對偶空間可以看作是一個SVC問題。從這個框架中引申出的SVR與SVC的核函數(shù)的關系，在具體應用中導致了非正定的核函數(shù)的出現(xiàn)。
　　 本文作了一定的研究，部分解決了上述的兩個問題。對于第一個問題，結(jié)合RKKS機器學習理論和SVR模型，提出了近似SVR模型。在仿真實驗中，使用的核函數(shù)無論是正定的還是非正定的，都能表現(xiàn)出良好的回歸性能和泛化性能。對于