支持向量機(jī)及其學(xué)習(xí)算法

1、支持向量機(jī)及其學(xué)習(xí)算法,主講:趙姝zhaoshuzs@163.com安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,主要內(nèi)容,支持向量機(jī)支持向量機(jī)的分類(lèi)學(xué)習(xí)算法 用于函數(shù)擬合的支持向量機(jī) 支持向量機(jī)算法的研究與應(yīng)用仿真實(shí)例,傳統(tǒng)統(tǒng)計(jì)學(xué)是一種漸進(jìn)理論，研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的極限特性?，F(xiàn)有的學(xué)習(xí)方法多基于傳統(tǒng)統(tǒng)計(jì)學(xué)理論，但在實(shí)際應(yīng)用中，樣本往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法在實(shí)際中的表現(xiàn)卻不盡人意，存在著一些難以克服的問(wèn)題，比

2、如說(shuō)如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題、過(guò)學(xué)習(xí)問(wèn)題、局部極小值問(wèn)題等，從本質(zhì)上來(lái)說(shuō)就是因?yàn)槔碚撋闲枰獰o(wú)窮樣本與實(shí)際中樣本有限的矛盾造成的。,與傳統(tǒng)統(tǒng)計(jì)學(xué)的方向不同，Vapnik等人提出了一個(gè)較完善的基于有限樣本的理論體系－－統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論是又一種通用的前饋神經(jīng)網(wǎng)絡(luò)，同樣可用于解決模式分類(lèi)和非線性映射問(wèn)題。支持向量機(jī)方法是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的通用學(xué)習(xí)方法，它具有全局優(yōu)化、適應(yīng)性強(qiáng)、理論完備、泛化性能好等優(yōu)點(diǎn) 。,支持向量機(jī)

3、（Support Vector Machine，SVM）,90年代中期，在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出了一種通用的學(xué)習(xí)方法－－支持向量機(jī)。它根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以獲得最好的泛化能力。支持向量機(jī)在很多機(jī)器學(xué)習(xí)問(wèn)題的應(yīng)用中已初步表現(xiàn)出很多優(yōu)于已有方法的性能。,支持向量機(jī)的理論最初來(lái)自于對(duì)數(shù)據(jù)分類(lèi)問(wèn)題的處理。對(duì)于線性可分?jǐn)?shù)據(jù)的二值分類(lèi)，如果采用多層前向網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，其機(jī)理可以簡(jiǎn)單描述為：系統(tǒng)隨機(jī)的產(chǎn)生一個(gè)

4、超平面并移動(dòng)它，直到訓(xùn)練集合中屬于不同類(lèi)別的點(diǎn)正好位于該超平面的不同側(cè)面，就完成了對(duì)網(wǎng)絡(luò)的設(shè)計(jì)要求。但是這種機(jī)理決定了不能保證最終所獲得的分割平面位于兩個(gè)類(lèi)別的中心，這對(duì)于分類(lèi)問(wèn)題的容錯(cuò)性是不利的。,保證最終所獲得的分割平面位于兩個(gè)類(lèi)別的中心對(duì)于分類(lèi)問(wèn)題的實(shí)際應(yīng)用是很重要的。支持向量機(jī)方法很巧妙地解決了這一問(wèn)題。該方法的機(jī)理可以簡(jiǎn)單描述為：尋找一個(gè)滿足分類(lèi)要求的最優(yōu)分類(lèi)超平面，使得該超平面在保證分類(lèi)精度的同時(shí)，能夠使超平面兩側(cè)的空白區(qū)

5、域最大化；從理論上來(lái)說(shuō)，支持向量機(jī)能夠?qū)崿F(xiàn)對(duì)線性可分?jǐn)?shù)據(jù)的最優(yōu)分類(lèi)。為了進(jìn)一步解決非線性問(wèn)題，Vapnik等人通過(guò)引入核映射方法轉(zhuǎn)化為高維空間的線性可分問(wèn)題來(lái)解決。,最優(yōu)分類(lèi)超平面（Optimal Hyperplane ）,對(duì)于兩類(lèi)線性可分的情形，可以直接構(gòu)造最優(yōu)超平面，使得樣本集中的所有樣本滿足如下條件：（1）能被某一超平面正確劃分；（2）距該超平面最近的異類(lèi)向量與超平面之間的距離最大，即分類(lèi)間隔（margin ）最大。,設(shè)訓(xùn)練

6、樣本輸入為 ， ， 對(duì)應(yīng)的期望輸出為 如果訓(xùn)練集中的所有向量均能被某超平面正確劃分，并且距離平面最近的異類(lèi)向量之間的距離最大（即邊緣margin最大化），則該超平面為最優(yōu)超平面（Optimal Hyperplane ） 。,最優(yōu)分類(lèi)面示意圖,支持向量Support Vector,其中距離超平面最近的異類(lèi)向量

7、被稱為支持向量（Support Vector），一組支持向量可以唯一確定一個(gè)超平面。SVM是從線性可分情況下的最優(yōu)分類(lèi)面發(fā)展而來(lái)，其超平面記為：為使分類(lèi)面對(duì)所有樣本正確分類(lèi)并且具備分類(lèi)間隔，就要求它滿足如下約束：,,,可以計(jì)算出分類(lèi)間隔為 ，因此構(gòu)造最優(yōu)超平面的問(wèn)題就轉(zhuǎn)化為在約束式下求： 為了解決這個(gè)約束最優(yōu)化問(wèn)題，引入下式所示的Lagrange函數(shù)： 其中 為L(zhǎng)agrange乘數(shù)。約

8、束最優(yōu)化問(wèn)題的解由Lagrange函數(shù)的鞍點(diǎn)決定。,,利用Lagrange優(yōu)化方法可以將上述二次規(guī)劃問(wèn)題轉(zhuǎn)化為其對(duì)偶問(wèn)題，即在約束條件： 下對(duì) 求解下列函數(shù)的最大值： 如果 為最優(yōu)解，那么：,以上是在不等式約束下求二次函數(shù)極值問(wèn)題，是一個(gè)二次規(guī)劃問(wèn)題（Quadratic Programming，QP），存在唯一解。根據(jù)最優(yōu)性條件－－Karush-Kühn-Tucker條件（KKT條件），這

9、個(gè)優(yōu)化問(wèn)題的解必須滿足：對(duì)多數(shù)樣本 將為零，取值不為零的 所對(duì)應(yīng)的樣本即為支持向量，它們通常只是全體樣本中很少的一部分。,,求解上述問(wèn)題后得到的最優(yōu)分類(lèi)函數(shù)是：在通過(guò)訓(xùn)練得到最優(yōu)超平面后,對(duì)于給定的未知樣本x，只需計(jì)算f (x)即可判斷x所屬的分類(lèi)。,,若訓(xùn)練樣本集是線性不可分的，或事先不知道它是否線性可分，將允許存在一些誤分類(lèi)的點(diǎn)，此時(shí)引入一個(gè)非負(fù)松弛變量 ，約束條件變?yōu)?目標(biāo)函數(shù)改為在以上約束條件下求

10、： 即折衷考慮最小錯(cuò)分樣本和最大分類(lèi)間隔。其中，C＞0 為懲罰因子 ，控制對(duì)錯(cuò)分樣本的懲罰程度 。,,,線性不可分情況和線性可分情況的差別就在于可分模式中的約束條件中的 在不可分模式中換為了更嚴(yán)格的條件 。除了這一修正，線性不可分情況的約束最優(yōu)化問(wèn)題中權(quán)值和閾值的最優(yōu)值的計(jì)算都和線性可分情況中的過(guò)程是相同的。,支持向量機(jī) （Support Vector Machine, SVM）,在現(xiàn)實(shí)世界中

11、，很多分類(lèi)問(wèn)題都是線性不可分的，即在原來(lái)的樣本空間中無(wú)法找到一個(gè)最優(yōu)的線性分類(lèi)函數(shù)，這就使得支持向量機(jī)的應(yīng)用具有很大的局限性。但是可以設(shè)法通過(guò)非線性變換將原樣本空間的非線性問(wèn)題轉(zhuǎn)化為另一個(gè)空間中的線性問(wèn)題。SVM就是基于這一思想的。首先將輸入向量通過(guò)非線性映射變換到一個(gè)高維的特征向量空間，在該特征空間中構(gòu)造最優(yōu)分類(lèi)超平面。,由于在上面的二次規(guī)劃（QP）問(wèn)題中，無(wú)論是目標(biāo)函數(shù)還是分類(lèi)函數(shù)都只涉及內(nèi)積運(yùn)算，如果采用核函數(shù)(Kernel Fu

12、nction)就可以避免在高維空間進(jìn)行復(fù)雜運(yùn)算，而通過(guò)原空間的函數(shù)來(lái)實(shí)現(xiàn)內(nèi)積運(yùn)算。因此，選擇合適的內(nèi)積核函數(shù) 就可以實(shí)現(xiàn)某一非線性變換后的線性分類(lèi)，而計(jì)算復(fù)雜度卻沒(méi)有增加多少 ，從而巧妙地解決了高維空間中計(jì)算帶來(lái)的“維數(shù)災(zāi)難”問(wèn)題。,此時(shí)，相應(yīng)的決策函數(shù)化為：支持向量機(jī)求得的決策函數(shù)形式上類(lèi)似于一個(gè)神經(jīng)網(wǎng)絡(luò)，其輸出是若干中間層節(jié)點(diǎn)的線性組合，而

13、每一個(gè)中間層節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積，因此也被稱作是支持向量網(wǎng)絡(luò)。,,支持向量機(jī)示意圖,選擇不同的核函數(shù) 可以生成不同的支持向量機(jī)，常有以下幾種：（1）線性核函數(shù)： （2）多項(xiàng)式核函數(shù)：（3）Gauss核函數(shù)：（4）Sigmoid核函數(shù)：,一個(gè)具體核函數(shù)的例子,假設(shè)數(shù)據(jù)是位于 中的向量，選擇： 然后尋找滿足下述條件的空間H：使映射 從 映射到H且滿足： 可以選

14、擇H=R3以及：,,,,用圖來(lái)表示該變換：,SVM用于二維樣本分類(lèi),,支持向量機(jī)與多層前向網(wǎng)絡(luò)的比較,與徑向基函數(shù)網(wǎng)絡(luò)和多層感知器相比，支持向量機(jī)避免了在前者的設(shè)計(jì)中經(jīng)常使用的啟發(fā)式結(jié)構(gòu)，它不依賴于設(shè)計(jì)者的經(jīng)驗(yàn)知識(shí)；而且支持向量機(jī)的理論基礎(chǔ)決定了它最終求得的是全局最優(yōu)值而不是局部極小值，也保證了它對(duì)于未知樣本的良好泛化能力而不會(huì)出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象。,支持向量機(jī)的分類(lèi)學(xué)習(xí)算法,對(duì)于分類(lèi)問(wèn)題，用支持向量機(jī)方法進(jìn)行求解的學(xué)習(xí)算法過(guò)程為：第一步

15、 給定一組輸入樣本 ， 及其對(duì)應(yīng)的期望輸出 ； 第二步 選擇合適的核函數(shù) 及相關(guān)參數(shù)；第三步 在約束條件 和 下求解 得到最優(yōu)權(quán)值 ；,,,,,,,,第四步 計(jì)算： ；第五步 對(duì)于待分類(lèi)向量x ，計(jì)算： 為＋1或－1，決定x屬于哪一類(lèi)。,,用于函數(shù)擬合的支持向量機(jī),假定數(shù)據(jù)集

16、 。首先考慮用線性回歸函數(shù) 擬合數(shù)據(jù)集X的問(wèn)題。所有訓(xùn)練數(shù)據(jù)在精度 下無(wú)誤差地用線性函數(shù)擬合，即：考慮到允許擬合誤差存在的情況：,,,,,優(yōu)化目標(biāo)函數(shù)為：對(duì)偶問(wèn)題為：在約束條件 下求下式的最大值。回歸函數(shù)為：,,,,,用不同的支持向量機(jī)對(duì)人工數(shù)據(jù)進(jìn)行分類(lèi),（a ）線性可分對(duì)下面二維待分類(lèi)人工數(shù)據(jù)P進(jìn)行分類(lèi)：X = [2 7; 3 6; 2 2; 8 1

17、; 6 4; 4 8; 9 5; 9 9; 9 4; 6 9; 7 4];Y = [ +1; +1; +1; +1; +1; -1; -1; -1; -1; -1; -1];,（b ）線性不可分對(duì)下面二維待分類(lèi)人工數(shù)據(jù)P進(jìn)行分類(lèi)：X = [2 7; 3 6; 2 2; 8 1; 6 4; 4 8; 9 5; 9 9; 9 4; 6 9; 7 4;4 4];Y = [ +1; +1; +1; +1; +

18、1; -1; -1; -1; -1; -1; -1; -1];,（1）、實(shí)驗(yàn)環(huán)境 Matlab 7.0（2）、界面設(shè)計(jì),（3）、具體實(shí)現(xiàn)a) 對(duì)于線性可分的人工樣本數(shù)據(jù)P。其中共有11個(gè)待分類(lèi)樣本。使用最簡(jiǎn)單的支持向量機(jī)，即以線性核函數(shù)K(x,xi)=(x. xi)作為內(nèi)積函數(shù)的支持向量機(jī)來(lái)訓(xùn)練該數(shù)據(jù)集合。懲罰因子C取10。,,黑色線為數(shù)據(jù)集合的兩類(lèi)分類(lèi)線，可以看出它能將兩類(lèi)準(zhǔn)確無(wú)誤的分開(kāi)，錯(cuò)誤率為0。

19、藍(lán)線和綠線為兩類(lèi)樣本的最大間隔邊界。5,11,6三點(diǎn)為支持向量。,樣本點(diǎn),分類(lèi)結(jié)果,對(duì)于線性不可分的人工樣本數(shù)據(jù)P。其中共有12個(gè)待分類(lèi)樣本。1）用線性核函數(shù)SVM進(jìn)行訓(xùn)練。仍采用最簡(jiǎn)單的支持向量機(jī)，即以線性核函數(shù)K(x,xi)=(x. xi)作為內(nèi)積函數(shù)的支持向量機(jī)來(lái)訓(xùn)練該數(shù)據(jù)集合。懲罰因子C取10。,,顯然黑色線為數(shù)據(jù)集合的兩類(lèi)分類(lèi)線，不能將兩類(lèi)準(zhǔn)確無(wú)誤的分開(kāi)，點(diǎn)12是錯(cuò)分的樣本點(diǎn)，而5和點(diǎn)11落在了分類(lèi)間隔內(nèi)。此時(shí)正確率為91.

20、67%。,樣本點(diǎn),分類(lèi)結(jié)果,2）利用較為復(fù)雜的RBF核函數(shù)支持向量機(jī)進(jìn)行分類(lèi)。RBF核函數(shù)中的核寬度這個(gè)參數(shù)是由用戶決定的。因此下面采用三個(gè)不同的RBF核寬度來(lái)對(duì)該函數(shù)集合進(jìn)行分類(lèi)。懲罰因子C取100。①選擇RBF核寬度為8,其結(jié)果如圖所示。,,從圖中可以看出，此時(shí)SVM以點(diǎn)12作為類(lèi)別－1的一個(gè)聚類(lèi)中心，在其周?chē)纬闪艘粋€(gè)類(lèi)似“小島”的區(qū)域。并且，點(diǎn)2，3，4，5，6,11和12是支持向量，錯(cuò)分樣本數(shù)為0。,②使用一個(gè)較小的值

21、1作為RBF核寬度,其結(jié)果如圖所示。,,黑線為分類(lèi)邊界，藍(lán)線和綠線為兩類(lèi)的最大間隔邊界。由于較小的核寬度允許了分類(lèi)邊界的分割，因此圖中的分類(lèi)邊界有很多條。由此造成了每個(gè)樣本點(diǎn)都是支持向量，所以錯(cuò)分樣本數(shù)為0。,③使用一個(gè)較大的值36作為RBF核寬度,其結(jié)果如圖所示。,,黑線為分類(lèi)邊界，藍(lán)線和綠線為兩類(lèi)的最大間隔邊界。使用較大的核寬度時(shí)分類(lèi)邊界比較簡(jiǎn)化，但是出現(xiàn)了錯(cuò)分樣本，即點(diǎn)5和12，此時(shí)的分類(lèi)正確率為83.33%。,實(shí)驗(yàn)小結(jié):

22、 從實(shí)驗(yàn)可以看出，針對(duì)同一問(wèn)題，也即同一組數(shù)據(jù)來(lái)說(shuō)，用不同核函數(shù)的支持向量機(jī)的分類(lèi)結(jié)果是不同的。而且可以看到針對(duì)不同的問(wèn)題，對(duì)同一種核函數(shù)支持向量機(jī)來(lái)說(shuō)，選擇合適的參數(shù)也是很關(guān)鍵的，不同的參數(shù)的選擇就對(duì)應(yīng)著不同的分類(lèi)結(jié)果。,支持向量機(jī)算法的研究與應(yīng)用,支持向量機(jī)算法改進(jìn) 核函數(shù)的改進(jìn) 錯(cuò)誤懲罰參數(shù)的選擇 不敏感參數(shù)的選擇 支持向量機(jī)解決多類(lèi)劃分問(wèn)題 支持向量機(jī)的應(yīng)用,支持向量機(jī)算法改進(jìn),傳統(tǒng)的利用標(biāo)準(zhǔn)二次型優(yōu)化技術(shù)解決對(duì)偶問(wèn)題

23、的方法是訓(xùn)練算法慢的主要原因。 (1) SVM方法需要計(jì)算和存儲(chǔ)核函數(shù)矩陣，當(dāng)樣本點(diǎn)數(shù)目較大時(shí)，需要很大的內(nèi)存，例如，當(dāng)樣本點(diǎn)數(shù)目超過(guò)4000時(shí)，存儲(chǔ)核函數(shù)矩陣需要多達(dá)128MB內(nèi)存； (2) SVM在二次型尋優(yōu)過(guò)程中要進(jìn)行大量的矩陣運(yùn)算，多數(shù)情況下，尋優(yōu)算法是占用算法時(shí)間的主要部分。,近年來(lái)人們針對(duì)方法本身的特點(diǎn)提出了許多算法來(lái)解決對(duì)偶尋優(yōu)問(wèn)題。這些算法的一個(gè)共同的思想就是采用分而治之的原則將原始QP問(wèn)題分解為規(guī)模較小的子問(wèn)題

24、，通過(guò)循環(huán)解決一系列子問(wèn)題來(lái)求得原問(wèn)題的解?，F(xiàn)有的訓(xùn)練算法分為三類(lèi)： “塊算法”（chunking algorithm） “Osuna 分解算法” “SMO算法”,核函數(shù)的改進(jìn),核函數(shù)的形式及其參數(shù)決定了分類(lèi)器的類(lèi)型和復(fù)雜程度。在不同的問(wèn)題領(lǐng)域，核函數(shù)應(yīng)當(dāng)具有不同的形式和參數(shù)，應(yīng)將領(lǐng)域知識(shí)引入進(jìn)來(lái)，從數(shù)據(jù)依賴的角度選擇核函數(shù)。初步嘗試的方法有： Amari－－利用黎曼幾何結(jié)構(gòu)方法來(lái)修改核函數(shù) ；

25、 Barzilay－－通過(guò)改進(jìn)鄰近核來(lái)改進(jìn)核函數(shù)； Brailovsky－－局部核函數(shù)方法； G. F. Smits －－多個(gè)核函數(shù)組合起來(lái)使用；,錯(cuò)誤懲罰參數(shù)的選擇,錯(cuò)分樣本懲罰參數(shù)C實(shí)現(xiàn)在錯(cuò)分樣本的比例和算法復(fù)雜度之間的折衷。C值的確定一般是用戶根據(jù)經(jīng)驗(yàn)給定的，隨意性很大，也很難知道所取C值的好壞性。如何消除C值選取的隨意性，而采用某種方法自動(dòng)地選擇一個(gè)最佳的C值，這個(gè)問(wèn)題目前尚未解決。,不敏感參數(shù) 的選擇,SVM通過(guò)參

26、數(shù) 控制回歸估計(jì)的精度，但 取多少才能達(dá)到所期望的估計(jì)精度是不明確的，為此出現(xiàn)了許多新的SVM方法。 Schölkoph和Smola－－ -SVM方法 Lin C-F －－加權(quán)支持向量機(jī)，通過(guò)對(duì)每個(gè)樣本數(shù)據(jù)點(diǎn)采用不同的 ，來(lái)獲得更準(zhǔn)確的回歸估計(jì)。,,支持向量機(jī)解決多類(lèi)劃分問(wèn)題,“多類(lèi)支持向量機(jī)”（Multi-category Support Vector Machines，M-SVMs）。它們可以大致分為兩大類(lèi)

27、：（1）通過(guò)某種方式構(gòu)造一系列的兩類(lèi)分類(lèi)器并將它們組合在一起來(lái)實(shí)現(xiàn)多類(lèi)分類(lèi)；（2）直接在目標(biāo)函數(shù)上進(jìn)行改進(jìn)，建立K分類(lèi)支持向量機(jī)。,一對(duì)多方法( l - against - rest ，1-a-r),此算法是對(duì)于K類(lèi)問(wèn)題構(gòu)造K個(gè)兩類(lèi)分類(lèi)器。第i個(gè)SVM用第i類(lèi)中的訓(xùn)練樣本作為正的訓(xùn)練樣本，而將其它的樣本作為負(fù)的訓(xùn)練樣本，即每個(gè)SVM分別將某一類(lèi)的數(shù)據(jù)從其他類(lèi)別中分離出來(lái)。測(cè)試時(shí)將未知樣本劃分到具有最大分類(lèi)函數(shù)值的那類(lèi)。缺點(diǎn)：泛化

28、能力較差，且訓(xùn)練樣本數(shù)目大，訓(xùn)練困難。此外，該方法還有可能存在測(cè)試樣本同時(shí)屬于多類(lèi)或不屬于任何一類(lèi)的情況。,一對(duì)一方法( l - against - 1，1-a-1),該算法在K類(lèi)訓(xùn)練樣本中構(gòu)造所有可能的兩類(lèi)分類(lèi)器，每類(lèi)僅僅在K類(lèi)中的兩類(lèi)訓(xùn)練樣本之間訓(xùn)練，結(jié)果共構(gòu)造K(K-1)/2個(gè)分類(lèi)器。組合這些兩類(lèi)分類(lèi)器很自然地用到了投票法，得票最多（ Max Wins ）的類(lèi)為新點(diǎn)所屬的類(lèi)。 缺點(diǎn)：推廣誤差無(wú)界，分類(lèi)器的數(shù)目K(K-1)/2隨

29、類(lèi)數(shù)K的增加急劇增加，導(dǎo)致在決策時(shí)速度很慢。此外，還可能存在一個(gè)樣本同時(shí)屬于多個(gè)類(lèi)的情況。,決策導(dǎo)向非循環(huán)圖SVM方法 （Decision Directed Acyclic Graph，DDAG）,在訓(xùn)練階段，其與1-a-1方法相同，對(duì)于K類(lèi)問(wèn)題，DDAG含有K(K-1)/2個(gè)兩類(lèi)分類(lèi)器。然而在決策階段，使用從根節(jié)點(diǎn)開(kāi)始的導(dǎo)向非循環(huán)圖（DAG），具有K(K-1)/2個(gè)內(nèi)部節(jié)點(diǎn)以及K個(gè)葉子節(jié)點(diǎn)，每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)兩類(lèi)分類(lèi)器，葉子

30、節(jié)點(diǎn)為最終的類(lèi)值。缺點(diǎn)：根節(jié)點(diǎn)的選擇直接影響著分類(lèi)的結(jié)果，不同的分類(lèi)器作為根節(jié)點(diǎn)，其分類(lèi)結(jié)果可能會(huì)不同，從而產(chǎn)生分類(lèi)結(jié)果的不確定性。,基于二叉樹(shù)的多類(lèi)SVM分類(lèi)方法,對(duì)于K類(lèi)的訓(xùn)練樣本，訓(xùn)練K-1個(gè)支持向量機(jī)。第1個(gè)支持向量機(jī)以第1類(lèi)樣本為正的訓(xùn)練樣本，將第2，3，…，K類(lèi)訓(xùn)練樣本作為負(fù)的訓(xùn)練樣本訓(xùn)練SVM1，第i個(gè)支持向量機(jī)以第i類(lèi)樣本為正的訓(xùn)練樣本，將第i + l，i + 2，…，K類(lèi)訓(xùn)練樣本作為負(fù)的訓(xùn)練樣本訓(xùn)練SVMi，直到第K

31、-1個(gè)支持向量機(jī)將以第K-1類(lèi)樣本作為正樣本，以第K類(lèi)樣本為負(fù)樣本訓(xùn)練SVM（K-1）。,優(yōu)點(diǎn)：所需要訓(xùn)練的兩類(lèi)支持向量機(jī)的數(shù)量少 ；消除了決策時(shí)存在同時(shí)屬于多類(lèi)或不屬于任何一類(lèi)的情況 ；總共需要訓(xùn)練的樣本和前兩種方法相比減少了許多。 缺點(diǎn)：若在某個(gè)節(jié)點(diǎn)上發(fā)生分類(lèi)錯(cuò)誤，將會(huì)把錯(cuò)誤延續(xù)下去，該節(jié)點(diǎn)后續(xù)下一級(jí)節(jié)點(diǎn)上的分類(lèi)就失去意義。,最小最大模塊化支持向量機(jī) （Min-Max-Modular -SVM, M3-SVM ）,該方法充分利用

32、分布式并行計(jì)算系統(tǒng)，將一個(gè)K類(lèi)問(wèn)題分解成K(K-1)/2個(gè)二類(lèi)問(wèn)題，然后把一個(gè)二類(lèi)問(wèn)題分解成一系列指定規(guī)模的小的二類(lèi)子問(wèn)題。優(yōu)點(diǎn)：這些二類(lèi)子問(wèn)題的特點(diǎn)是在訓(xùn)練過(guò)程中完全相互獨(dú)立，因此可以容易地在集群計(jì)算機(jī)和網(wǎng)格上實(shí)現(xiàn)超并行學(xué)習(xí)。在保證推廣能力的前提下，能夠明顯提高訓(xùn)練速度，是一種解決大規(guī)模模式分類(lèi)問(wèn)題的有效方法。,支持向量機(jī)的應(yīng)用,隨著對(duì)SVM研究的進(jìn)展和深入，其應(yīng)用也越來(lái)越廣泛，基于SVM思想的一些模型和方法被廣泛應(yīng)用于各個(gè)領(lǐng)域，包

33、括模式識(shí)別，如人臉識(shí)別、字符識(shí)別、筆跡鑒別、文本分類(lèi)、語(yǔ)音鑒別、圖像識(shí)別、圖像分類(lèi)、圖像檢索等等；回歸估計(jì)，如非線性系統(tǒng)估計(jì)、預(yù)測(cè)預(yù)報(bào)、建模與控制等等；以及網(wǎng)絡(luò)入侵檢測(cè)、郵件分類(lèi)、數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)、信號(hào)處理、金融預(yù)測(cè)、生物信息等新領(lǐng)域。,Libsvm的使用,安裝python,下載解壓libsvm,gnuplotSvmtoy.exe 圖像顯示,可修改參數(shù)Svmtrain.exe tdata 生成一個(gè)modelPython.grid