求解大規(guī)模支持向量機(jī)問題的算法研究.pdf

1、支持向量機(jī)是一種以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的學(xué)習(xí)方法，是數(shù)據(jù)挖掘中的一項(xiàng)新技術(shù)，同時(shí)也是借助最優(yōu)化方法解決機(jī)器學(xué)習(xí)問題的新工具，它在模式識(shí)別、圖像處理、生物信息等領(lǐng)域都有著廣泛的應(yīng)用。支持向量機(jī)的核心是求解一個(gè)大規(guī)模凸二次規(guī)劃問題。本文主要圍繞大規(guī)模凸二次規(guī)劃的求解，對大規(guī)模及具有特殊結(jié)構(gòu)的支持向量機(jī)求解算法進(jìn)行了研究，主要工作如下：
　　首先回顧了支持向量機(jī)的基礎(chǔ)理論和求解算法，引出本文的研究背景與意義，以及所做的主要工作。
　

2、　第二章針對一般的大規(guī)模支持向量機(jī)模型提出了一個(gè)新的坐標(biāo)梯度下降算法，算法每步通過選擇非空的坐標(biāo)集為工作集，并限定工作集的規(guī)模，利用梯度建立目標(biāo)函數(shù)的二次估計(jì)，得到下降方向。同時(shí)，算法通過合理的選取二次項(xiàng)矩陣，避免了線搜索帶來的時(shí)間和空間上的開銷，使計(jì)算量大大減少。最后，在較弱的條件下證明了算法的收斂性。
　　第三章中，考慮到支持向量機(jī)模型中支持向量的特點(diǎn)，即只有支持向量對應(yīng)的訓(xùn)練點(diǎn)對決策函數(shù)有貢獻(xiàn)。對于給定的訓(xùn)練樣本集，若支持向

3、量是已知的，訓(xùn)練算法就可以排除非支持向量，只對支持向量進(jìn)行計(jì)算。基于上述特點(diǎn)，結(jié)合增廣Lagrangian函數(shù)和有效集識(shí)別技術(shù)，本章給出了求解支持向量機(jī)模型的算法，在較弱的條件下證明了算法的全局收斂性，并通過數(shù)值實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　第四章給出了針對特殊結(jié)構(gòu)的支持向量機(jī)模型的分解算法，通過分析問題的KKT條件，提出了“KKT違背指標(biāo)”這一概念。以這個(gè)概念為基礎(chǔ)，提出了確定工作集的算法。并將這種分解算法推廣到求解一般非線性界