支持向量機學習算法的若干問題研究.pdf

1、支持向量機是建立在統(tǒng)計學習理論的VC維理論和結構風險最小化原則基礎上的新型機器學習方法。它根據(jù)有限樣本信息在模型的復雜度和期望風險之間尋求最佳折衷，能夠獲得更好的泛化性能。與傳統(tǒng)的神經(jīng)網(wǎng)絡等學習方法相比，支持向量機具有泛化能力強、維數(shù)不敏感、收斂到全局最優(yōu)等優(yōu)點，很好地解決了前者容易出現(xiàn)的過學習、局部極值、維數(shù)災難等棘手問題，因而成為近幾年機器學習領域中的一個非常活躍的研究熱點。 然而，支持向量機是機器學習領域中相對比較新的理論

2、，它在很多方面尚不成熟、不完善，需要進一步地研究和改進。其中，關于它的學習算法的研究是該理論的重點和難點內(nèi)容之一。本文主要從提升泛化性能、提高學習速度、探索新型學習算法、增強學習過程的健壯性以及半監(jiān)督學習等幾個角度，對支持向量機的學習算法進行了比較系統(tǒng)的研究。 論文的主要研究工作包括以下5個方面： 1.特殊設計的集成學習算法能夠提高支持向量機的泛化性能。在分析不同的樣本擾動方式對于增大成員分類器之間差異性的作用之后，本文

3、提出了兩種基于二重擾動機制的集成學習算法，它們的共同特點是：均采取同時對輸入特征空間和模型參數(shù)進行擾動的方式來產(chǎn)生成員分類器，并利用多數(shù)投票方法對它們進行組合。數(shù)值實驗結果表明，兩種算法均能夠顯著提升支持向量機的泛化性能。 2.支持向量機的學習過程需要求解一個凸二次規(guī)劃問題，在大樣本情況下，需要的計算開銷和存儲開銷都非常大。通過將開銷分解到并行系統(tǒng)的多個計算節(jié)點上并行地進行處理或者通過設計并行學習算法是解決該問題的有效途徑之一。

4、本文提出了“多重三叉級聯(lián)(MTC)”并行學習結構，具有反饋速度快、節(jié)點利用率高、反饋的支持向量數(shù)目多等優(yōu)點；并且，基于該學習結構設計了支持向量機的并行學習算法，獲得了非常高的加速比和并行效率，顯著提高了學習速度。 3. 支持向量機的大多數(shù)學習算法都是針對其對偶優(yōu)化問題進行求解，但直接針對其原始優(yōu)化問題進行求解也是非常可行的。本文利用Huber函數(shù)消除原始優(yōu)化目標函數(shù)中的l<,1>范數(shù)后，推導得到其無約束、連續(xù)、二次可微且嚴格凸的

5、γ-近似優(yōu)化問題，然后采用Newton下降法進行求解，并對解的更新規(guī)則進行了推導和簡化。在此基礎上，提出一種能夠直接在原始空間中求解支持向量機的近似最優(yōu)解的快速學習算法，并對算法的收斂性、復雜度以及解的性質(zhì)進行了分析。 4．支持向量機采用的Hinge損失函數(shù)對噪聲樣本引起的罰損失沒有任何限制，這是它對噪聲樣本敏感的根本原因。本文提出一種基于光滑Ramp損失函數(shù)的健壯支持向量機方法，能夠有效抑制噪聲樣本對泛化性能的影響。鑒于新方法

6、的優(yōu)化問題是非凸的，首先采用CCCP過程將其變換成一系列的無約束、二次可微且嚴格凸的優(yōu)化問題，然后采用Newton下降法在原始空間中進行求解，并對解的更新規(guī)則進行了推導和化簡。在此基礎上，給出了健壯支持向量機的學習算法。 5．半監(jiān)督支持向量機能夠同時利用“標記”和“未標記”樣本進行學習，但是，求解它的最優(yōu)解是一個NP難問題。漸近式學習算法通過逐步地對少量樣本進行標記，能夠快速獲得半監(jiān)督支持向量機的近似解，但它也存在兩個明顯缺陷，