支持向量機(jī)多類分類算法研究.pdf

1、支持向量機(jī)(SVM)為一種由Vapnik等人研發(fā)出的機(jī)器學(xué)習(xí)方法,是面向小樣本進(jìn)行學(xué)習(xí)而提出的方法。它在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展而來,由于繼承了其結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則和VC維理論,可以很好的解決訓(xùn)練誤差過小反而導(dǎo)致推廣能力下降的問題,提高了學(xué)習(xí)方法對未來輸出進(jìn)行正確預(yù)測的能力。正是支持向量機(jī)的這些優(yōu)點,這種學(xué)習(xí)方法得到了眾多學(xué)者的高度關(guān)注,已成為研究的重點推動著機(jī)器學(xué)習(xí)的發(fā)展。支持向量機(jī)的發(fā)展起源是解決兩類分類的問題,可在實際中主要的情況

2、是對多類加以分類,因此,如何將其推向多類處理問題成為當(dāng)今一項十分重要的研究方向。
　　 本文對支持向量機(jī)的支撐理論統(tǒng)計學(xué)習(xí)理論進(jìn)行了關(guān)鍵理論的闡述,并在此基礎(chǔ)上論述了支持向量機(jī)算法,對支持向量機(jī)的分類原理進(jìn)行了論述。在明確支持向量機(jī)原理的基礎(chǔ)上,總結(jié)了關(guān)于支持向量機(jī)多類分類方法的國內(nèi)外研究成果,包涵有“一對一”、二叉樹、“一對多”、決策有向無環(huán)圖等多種方法。分析對比了各個方法的優(yōu)點和不足,并對它們的分類性能做出總結(jié)。
　　

3、 通過分析各個多類分類方法,總結(jié)出了二叉樹方法具有最優(yōu)的多類分類性能,尤其是對于大規(guī)模多類分類問題。本文針對二叉樹方法的關(guān)鍵性問題,即樹層次結(jié)構(gòu)的劃分提出了改進(jìn)的向量投影方法,利用此方法度量類間可分性的大小,并將易分的類放在樹的上層節(jié)點中,從而減少誤差累積現(xiàn)象對分類精度的影響。二叉樹的另一個問題是某些節(jié)點處存在不平衡數(shù)據(jù)分類現(xiàn)象,本文利用改進(jìn)的SMOTE向上采樣方法對不平衡數(shù)據(jù)集進(jìn)行采樣。本方法不改變樣本集分布特性,并且降低了因隨機(jī)采