大規(guī)模SVM訓(xùn)練算法的研究.pdf

1、對(duì)于高維數(shù)據(jù),通過(guò)核方法將輸入樣本映射到更高維的空間通常不會(huì)明顯改善決策函數(shù)的分類精度,而線性支持向量機(jī)(SVM)能夠提供很好的泛化能力。使用線性核時(shí)權(quán)向量的每一維可以根據(jù)系數(shù)以及訓(xùn)練樣本直接計(jì)算。當(dāng)構(gòu)成權(quán)向量的支持向量較多時(shí)這可以顯著減少權(quán)向量和訓(xùn)練樣本點(diǎn)積的計(jì)算代價(jià)。本文基于最小閉包球的算法求解SVM的一種變形問(wèn)題。提出的方法保存權(quán)向量及其每個(gè)分量公共因子,并且每次迭代只更新其中很少的部分,算法的復(fù)雜度為O(m(d)),(d)為輸入

2、樣本的平均非零屬性數(shù)目,m是核集大小。實(shí)驗(yàn)表明此方法在一些數(shù)據(jù)集上的訓(xùn)練速率高于當(dāng)前流行的線性SVM求解器,比如對(duì)偶坐標(biāo)下降法(DCD)以及基于割平面的SVMperf。
　　 對(duì)大規(guī)模非線性SVM優(yōu)化問(wèn)題提出了一個(gè)有效的并行訓(xùn)練算法。提出的算法把原問(wèn)題分解成多個(gè)子問(wèn)題在各個(gè)節(jié)點(diǎn)單獨(dú)求解。每個(gè)節(jié)點(diǎn)在訓(xùn)練局部支持向量機(jī)時(shí)不需相互通信。合并過(guò)程采用簡(jiǎn)單的迭代過(guò)程處理各個(gè)子問(wèn)題的解。在合并過(guò)程中需要計(jì)算來(lái)自不同節(jié)點(diǎn)的權(quán)向量(不能直接算出