基于SVM的分段貪婪算法研究.pdf

1、支持向量機(jī)（Support Vector Machines，簡(jiǎn)稱(chēng)SVM）是V.Vapnik等在20世紀(jì)90年代提出的基于統(tǒng)計(jì)學(xué)習(xí)理論（Statistical Learning Theory，SLT）的一種新型機(jī)器學(xué)習(xí)方法。由于其完備的理論基礎(chǔ)和優(yōu)異的性能，該技術(shù)已成為機(jī)器學(xué)習(xí)界的研究熱點(diǎn)，并在很多領(lǐng)域都得到了成功的應(yīng)用，如模式識(shí)別、數(shù)據(jù)挖掘、生物信息學(xué)等。相對(duì)于理論的完善性來(lái)說(shuō)，SVM的算法研究明顯滯后，尚有許多問(wèn)題急需發(fā)展和完善。如海

2、量樣本下求解過(guò)程的冗余問(wèn)題，訓(xùn)練算法速度慢，對(duì)強(qiáng)噪聲的敏感問(wèn)題，多類(lèi)別分類(lèi)問(wèn)題等。這些問(wèn)題大大制約了SVM在各個(gè)領(lǐng)域的進(jìn)一步應(yīng)用。特別是對(duì)于海量樣本的處理，支持向量機(jī)在訓(xùn)練速度和訓(xùn)練精度上還有待提高。因此本課題著重研究海量樣本下的SVM的訓(xùn)練算法，主要從大規(guī)模樣本集的約簡(jiǎn)方法和訓(xùn)練SVM的分段貪婪算法兩方面著手，解決海量樣本下SVM訓(xùn)練速度和精度不能兼顧的問(wèn)題。 本文首先對(duì)SVM的基本理論進(jìn)行了介紹，然后對(duì)大規(guī)模數(shù)據(jù)集上SVM的

3、訓(xùn)練算法作了系統(tǒng)的研究，并詳細(xì)研究了流行的SMO算法，接著研究了SVM的分段貪婪算法和處理SVM大規(guī)模訓(xùn)練樣本集問(wèn)題的約簡(jiǎn)算法。在此基礎(chǔ)上給出了一種新的SVM分段貪婪算法-YGS-SVMs。本文主要工作包括： （1）系統(tǒng)論述了支持向量機(jī)的理論基礎(chǔ)及其主要研究?jī)?nèi)容。 （2）對(duì)大規(guī)模數(shù)據(jù)集上SVM的訓(xùn)練算法作了系統(tǒng)的研究，并對(duì)其中流行的SMO算法作了深入探討。 （3）深入研究SVM的分段貪婪算法和SVM大規(guī)模訓(xùn)練樣本