支持向量機的若干算法研究.pdf

1、支持向量機是一種通用的學(xué)習(xí)機器,是數(shù)據(jù)挖掘中的一項新技術(shù)，是借助于最優(yōu)化方法解決機器學(xué)習(xí)問題的新工具.其核心問題是對一個大規(guī)模凸二次規(guī)劃問題進行求解.分解算法是求解支持向量機的一類基于工作集選擇的有效算法.隱私保護支持向量機算法則是在隱私保護數(shù)據(jù)挖掘算法基礎(chǔ)上新興起來的一個研究方向，在銀行、保險公司、醫(yī)學(xué)研究機構(gòu)等行業(yè)有著廣泛的應(yīng)用.本文主要研究求解支持向量機的簡化分解算法和針對分布式數(shù)據(jù)的隱私保護支持向量機算法，主要工作如下：

2、　　首先，通過回顧支持向量機算法的發(fā)展過程及總結(jié)其研究現(xiàn)狀，引出本文所做的主要工作.
　　考慮到無論是原始支持向量機模型，還是本文重點討論的隱私保護支持向量機模型，其本質(zhì)問題是對一個大規(guī)模凸二次規(guī)劃的求解，因此本文首先從研究支持向量機和對應(yīng)乘子之間的關(guān)系著手，并給出一個新的分解算法.
　　第二章中，基于支持向量機模型中支持向量的重要性，對支持向量和對應(yīng)乘子之間的關(guān)系進行了理論分析，并借助圖形，直觀地分析了支持向量相對于決策面

3、的幾何關(guān)系.同時，通過對簡化算法的終止條件及工作集選擇的分析，探討了違背和最大違背KKT條件對的幾何含義，為直觀理解終止條件及工作集選擇方案提供理論依據(jù).
　　第三章中，通過對求解大規(guī)模支持向量機的分解算法中各種工作集選擇方法的優(yōu)劣進行比較，提出一類求解基于帶有線性等式和上下界約束優(yōu)化問題的大規(guī)模支持向量機模型的新分解算法.該算法每次迭代的可行下降方向從具有偶數(shù)個分量的相對稀疏可行方向中選取.在假設(shè)水平方向集中至少有一組下標(biāo)對應(yīng)的

4、分量嚴格在上下界之間的前提下，證明了算法的全局收斂性，并通過數(shù)值實驗驗證了算法的有效性.
　　本文的下半部分，主要研究隱私保護支持向量機算法.
　　第四章和第五章，分別針對數(shù)據(jù)垂直分布與水平分布的情況，提出了兩個隱私保護支持向量機算法.對于數(shù)據(jù)垂直分布的情形，算法直接基于矩陣分解的理論，給出的分類器是公開的，但是未泄露任何參與方的原始數(shù)據(jù).對于數(shù)據(jù)水平分布的情況，與已有的SVM分類器不同，算法借助了安全多方計算的加密技術(shù)，給

5、出的分類器是公開的，同樣也未揭露任何參與方的原始數(shù)據(jù).利用矩陣分解理論證明了算法的可行性.數(shù)值實驗表明我們給出的隱私保護支持向量機算法的分類精度要比Mangasrian的簡約隱私保護支持向量機算法的分類精度高.
　　第六章，針對數(shù)據(jù)任意分割的情況，利用數(shù)據(jù)水平分布情況下的矩陣乘積的安全性策略，提出了一個隱私保護支持向量機算法，在未揭露任何參與方的原始數(shù)據(jù)的情況下給出了公開的分類器.該算法的分類精度比Mangasarian給出的簡約