魯棒最小二乘支持向量機研究與應用.pdf

1、二分類問題是統(tǒng)計學習理論、機器學習以及人工智能中研究的一個重要問題。支持向量機模型采用結(jié)構(gòu)風險極小化原則和核函數(shù)方法來構(gòu)造分類模型，模型比較簡單，解具有唯一性。最小二乘支持向量機模型使用誤差均方和作為目標函數(shù)，把二次規(guī)劃模型的求解轉(zhuǎn)化成求解線性方程組，克服了支持向量機模型求解二次規(guī)劃計算量大的問題。但是最小二乘支持向量機模型中的等式約束以及目標函數(shù)中的均方誤差和使得模型的解丟失了稀疏性，降低了解的魯棒性。
　　 由于隨機的或者非

2、隨機過程的存在，現(xiàn)實生活中的數(shù)據(jù)經(jīng)常帶有噪聲和不確定性。數(shù)據(jù)的噪聲以及不確定性會影響統(tǒng)計學習分類算法模型的性能，降低分類的準確率及其分類模型的推廣能力。支持向量機和最小二乘支持向量機模型都是采用了固定范數(shù)的目標函數(shù)，這種建立模型的方法不能夠很好的適應各種各樣的數(shù)據(jù)結(jié)構(gòu)，從而使得模型的適應能力較弱。為了加強最小二乘支持向量機模型的魯棒性和稀疏性，增強其推廣能力，使模型能夠根據(jù)數(shù)據(jù)結(jié)構(gòu)自動進行調(diào)整，本文主要開展了以下幾個方面的工作：

3、　　 1.系統(tǒng)整理了文獻中對支持向量機模型(SVM)和最小二乘支持向量機模型(LS-SVM)中改進魯棒性的方法，并指出這些改進模型存在的問題和缺陷。從而得到了本文將要研究的主要問題，即以加強最小二乘支持向量機模型的稀疏性、魯棒性和可解釋性為目的，對原有模型進行了較大的改進，給出了基于最小二乘支持向量機模型的有效二分類算法模型。
　　 2.針對最小二乘支持向量機模型丟失稀疏性和魯棒性的原因，提出了使用核主成分法對樣本數(shù)據(jù)中存在的

4、噪聲特征進行剔除，并借鑒先前的增強最小二乘支持向量機模型稀疏性的方法，對特征進行壓縮，給出了一個雙層L1范數(shù)最小二乘支持向量機模型—KPCA-L1-LS-SVM。通過使用KPCA方法，可以有效的進行特征抽取和提取。同時以L1范數(shù)作為目標函數(shù)，可以有效的消除噪聲點對模型推廣能力的影響，并使模型的解更稀疏，從而可以降低計算的復雜度。在仿真數(shù)據(jù)集和基準數(shù)據(jù)庫上對該模型的測試表明該方法是有效的。
　　 3.在實際的二分類問題中，由于噪聲

5、點或者噪聲特征的存在使得樣本的標簽會出現(xiàn)不確定的情況。分類模型應該能夠自動判別哪些是相對重要的點，哪些是受噪聲點影響較大的樣本，從而在分類函數(shù)的構(gòu)造中剔除這種樣本。模糊隸屬度的概念則可以用來描述樣本標簽的不確定性。本文采用L1范數(shù)作為目標函數(shù)以及模糊隸屬度的概念可以構(gòu)造出一個具有稀疏性和魯棒性的基于最小二乘支持向量機的分類模型—模糊L1-LS-SVM。在測試數(shù)據(jù)集上的測試表明這個模型同樣可以消除噪聲點的影響，并具有較好的可解釋性。

6、>　　 4.在分類問題中，不同的樣本在分類函數(shù)的構(gòu)造中所起的作用是不同的。在分類函數(shù)的構(gòu)造中，樣本所包含的判別信息越是重要，相應的樣本對分類模型的構(gòu)造所起的作用就越大。因此，為了區(qū)別不同樣本對于決策函數(shù)構(gòu)造的不同作用，可以對包含重要信息的樣本賦予較大的權(quán)重，而包含次要信息的樣本所對應的權(quán)重就會較小。通過這種賦權(quán)的方法也可以消除噪聲點對分類模型的影響，使得模型具有魯棒的特征。無論是支持向量機還是最小二乘支持向量機模型，在目標函數(shù)中都使用

7、固定的Lp范數(shù)，這是一種基于先驗知識的建模方法，不能適應各種各樣復雜的數(shù)據(jù)結(jié)構(gòu)。從模型更好的適應數(shù)據(jù)的角度出發(fā)，本文提出了一個賦權(quán)魯棒最小二乘支持向量機模型—RW-Lp-LS-SVM。在仿真數(shù)據(jù)集以及UCI基準數(shù)據(jù)庫上的測試表明該模型具有魯棒性特征，稀疏性好，具有較好的解釋能力。
　　 5.信用評估數(shù)據(jù)庫所包含的數(shù)據(jù)類型比較特殊，其類別比例極不均衡。為了檢驗本文所提出的三個模型的分類性能，我們使用這三個模型在三個信用數(shù)據(jù)庫上進行