大規(guī)模SVM訓(xùn)練算法的研究.pdf

1、對于高維數(shù)據(jù),通過核方法將輸入樣本映射到更高維的空間通常不會明顯改善決策函數(shù)的分類精度,而線性支持向量機(SVM)能夠提供很好的泛化能力。使用線性核時權(quán)向量的每一維可以根據(jù)系數(shù)以及訓(xùn)練樣本直接計算。當構(gòu)成權(quán)向量的支持向量較多時這可以顯著減少權(quán)向量和訓(xùn)練樣本點積的計算代價。本文基于最小閉包球的算法求解SVM的一種變形問題。提出的方法保存權(quán)向量及其每個分量公共因子,并且每次迭代只更新其中很少的部分,算法的復(fù)雜度為O(m(d)),(d)為輸入

2、樣本的平均非零屬性數(shù)目,m是核集大小。實驗表明此方法在一些數(shù)據(jù)集上的訓(xùn)練速率高于當前流行的線性SVM求解器,比如對偶坐標下降法(DCD)以及基于割平面的SVMperf。
　　 對大規(guī)模非線性SVM優(yōu)化問題提出了一個有效的并行訓(xùn)練算法。提出的算法把原問題分解成多個子問題在各個節(jié)點單獨求解。每個節(jié)點在訓(xùn)練局部支持向量機時不需相互通信。合并過程采用簡單的迭代過程處理各個子問題的解。在合并過程中需要計算來自不同節(jié)點的權(quán)向量(不能直接算出