基于指數(shù)梯度更新的支持向量機(jī)算法.pdf

1、支持向量機(jī)(Support Vector Machine,SVM)是由Vapnik等人提出的一類新型機(jī)器學(xué)習(xí)方法,是基于統(tǒng)計(jì)學(xué)習(xí)理論、根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理而推導(dǎo)出來的,集優(yōu)化、核、最佳推廣能力等特點(diǎn)于一身,有著很好的學(xué)習(xí)性能和泛化能力。該方法已經(jīng)成為機(jī)器學(xué)習(xí)界的研究熱點(diǎn),并在很多領(lǐng)域中得到了成功的應(yīng)用。支持向量機(jī)可以歸結(jié)為二次規(guī)劃求解的問題。在大規(guī)模的實(shí)際問題應(yīng)用中,傳統(tǒng)的二次規(guī)劃會(huì)涉及大量的矩陣運(yùn)算,存在運(yùn)算速度慢的問題,這在很大程

2、度上影響了支持向量機(jī)的應(yīng)用。因此在保證分類精度變化不大的情況下,加快支持向量機(jī)的訓(xùn)練速度對SVM學(xué)習(xí)的研究具有重要的理論意義和使用價(jià)值。
　　 本文的主要研究內(nèi)容包括:介紹了指數(shù)梯度更新規(guī)則,它是一種乘性的更新規(guī)則。理論分析和實(shí)驗(yàn)結(jié)果都表明,當(dāng)學(xué)習(xí)機(jī)的稀疏性較強(qiáng)時(shí),指數(shù)梯度更新比傳統(tǒng)的加性梯度下降更新具有更快的收斂速度。基于這一性能,提出了一種基于指數(shù)梯度更新來解決硬間隔的SVM算法,它是一種直接優(yōu)化的方法,其所有變量可以并行迭