大規(guī)模稀疏支持向量機(jī)算法研究.pdf

1、稀疏學(xué)習(xí)是一種有效處理冗余問題的方法。目前，稀疏優(yōu)化方法已廣泛應(yīng)用于信號(hào)壓縮感知、圖像處理等實(shí)際問題中，其理論和算法都在快速發(fā)展中。由于大規(guī)模數(shù)據(jù)挖掘問題往往具有冗余和稀疏的特點(diǎn)，因此稀疏優(yōu)化是處理大規(guī)模數(shù)據(jù)挖掘問題的上佳之選。而支持向量機(jī)作為通用的機(jī)器學(xué)習(xí)方法，具有堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)，實(shí)際應(yīng)用效果好，使用方便，模型參數(shù)較少，在圖像、視頻、聲音、文本等不同領(lǐng)域得到了廣泛的應(yīng)用。國內(nèi)外關(guān)于大規(guī)模稀疏支持向量機(jī)的理論研究和方法并不成熟，

2、缺乏理論基礎(chǔ)和模型算法，尚處于初始階段。比如:1)稀疏模型的有效性檢驗(yàn)指標(biāo)，即如何度量模型的稀疏程度以及稀疏效果的好壞問題等;2）大規(guī)模問題的稀疏模型缺乏統(tǒng)一的理論基礎(chǔ);3）大規(guī)模問題的稀疏優(yōu)化模型求解問題;4）拓展研究比較少，對其拓展有較大空間。擬從最優(yōu)化的角度對上述多方面進(jìn)行系統(tǒng)研究。
　　本文共分七章，組織結(jié)構(gòu)如下:
　　第一章為引言部分，介紹本文的研究背景、研究意義、研究對象和主要工作概述。
　　第二章詳細(xì)介紹

3、與本文研究內(nèi)容密切相關(guān)的算法，包括標(biāo)準(zhǔn)的支持向量機(jī)(SVM)、最小二乘支持向量機(jī)(LSSVM)、基于Ramp損失函數(shù)的支持向量機(jī)(RSVM)、雙子支持向量機(jī)(TWSVM)、非平行支持向量機(jī)(NPSVM)，并比較分析了他們的優(yōu)缺點(diǎn)。由于NPSVM具有更好的推廣能力，后面的研究內(nèi)容則重點(diǎn)圍繞NPSVM展開，一方面從理論上探索其統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)，另一方面從方法上構(gòu)建更稀疏的、能處理大規(guī)模問題的NPSVM模型和算法。
　　第三章針對分類問

4、題，提出一個(gè)具有稀疏性和魯棒性的非平行超平面分類機(jī)-基于Ramp損失函數(shù)的非平行超平面SVM(RNPSVM)。RNPSVM在訓(xùn)練階段可以處理含有噪音和異常點(diǎn)的數(shù)據(jù)，并含有較少的支持向量，從而增加了模型的稀疏程度，具有更好的推廣能力。針對該模型中非凸優(yōu)化問題的求解，引入了有效的CCCP策略。進(jìn)一步，對該模型的稀疏性、復(fù)雜度、初始化等進(jìn)行了理論分析，大量的數(shù)值實(shí)驗(yàn)也驗(yàn)證了該模型的有效性。
　　第四章從U-SVM的角度構(gòu)建了NPSVM的

5、結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，給出了其相應(yīng)的統(tǒng)計(jì)學(xué)習(xí)理論解釋。之后從提升計(jì)算效率的角度出發(fā)，分別給出了基于線性規(guī)劃形式的NPSVM和基于線性規(guī)劃形式的RNPSVM，為NPSVM方法處理更大規(guī)模的問題提供了可選擇的模型。
　　第五章首先討論了LSTWSVM和LSSVM的關(guān)系，證明LSSVM是LSTWSVM的退化情況。進(jìn)一步，基于LSSVM，提出了一個(gè)新的稀疏和魯棒的最小二乘支持向量機(jī)RLSSVM。在原有稀疏模型ε-LSSVM基礎(chǔ)上，構(gòu)建并引入

6、了一個(gè)新的基于ε-不敏感損失函數(shù)的Ramp損失函數(shù)，新模型可以有效地對噪音抗干擾，并且具有更好的稀疏性。引入了CCCP策略來求解該模型中非凸優(yōu)化問題，不同數(shù)據(jù)集上的數(shù)值實(shí)驗(yàn)證明了RLSSVM的有效性。
　　第六章基于前面的NPSVM和RNPSVM，提出針對大規(guī)模線性分類問題的交替方向乘子法(ADMM)，ADMM是目前處理大規(guī)模問題的有效優(yōu)化算法。通過將NPSVM和RNPSVM中的優(yōu)化問題構(gòu)造為ADMM可以求解的形式，實(shí)現(xiàn)了ADMM