基于SVM與AdaBoost組合的分類算法研究.pdf

1、支持向量機(jī)(Support Vector Machines，SVM)是Vapnik提出的一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的學(xué)習(xí)技術(shù)，也是一種新的具有很好泛化性能的回歸方法。在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等方面都有應(yīng)用。AdaBoost作為Boosting方法的典型算法之一，已在模式識(shí)別、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域得到了成功的應(yīng)用。該方法通過組合學(xué)習(xí)方式允許不斷地加入新的“弱分類器”，直到達(dá)到某個(gè)預(yù)定的足夠小的誤差率。隨著AdaBoost不斷應(yīng)用，

2、其優(yōu)點(diǎn)日益凸顯，越來(lái)越多的學(xué)者致力于研究以不同的方式提高其算法性能。
　　 本文提出了一種基于Fisher準(zhǔn)則的SVM參數(shù)選擇算法----FS算法，將梯度下降算法和Fisher準(zhǔn)則相結(jié)合。選擇算法充分利用了樣本在特征空間中類別間的線性可分離性，結(jié)合梯度下降算法進(jìn)行參數(shù)尋優(yōu)，具有簡(jiǎn)單、復(fù)雜度低、易于實(shí)現(xiàn)等優(yōu)點(diǎn)。其次還對(duì)SVM與AdaBoost如何高效組合進(jìn)行了研究，將最近鄰法應(yīng)用其中，并基于主動(dòng)學(xué)習(xí)策略，提出了一種高效的組合算法-