基于趨同的支持向量回歸機(jī)多分類方法研究.pdf

1、模式分類問題已經(jīng)涉及到各個科學(xué)研究領(lǐng)域中，分類算法也已成為解決這些問題的核心技術(shù)。近年來，支持向量機(jī)(Support Vector Machine,SVM)作為一種新的機(jī)器學(xué)習(xí)算法應(yīng)運(yùn)而生，并且廣泛地應(yīng)用于統(tǒng)計分類和回歸分析。然而，在實(shí)際應(yīng)用中常常會遇到許多多類別分類問題，SVM在處理這類問題時需要構(gòu)造多個多值分類模型，將該問題轉(zhuǎn)化成多個二值分類器。隨著樣本種類的增多，這種變形的SVM方法的效率會明顯下降，計算復(fù)雜度也會增加。因此，SV

2、M學(xué)習(xí)算法是一個十分值得我們深入研究的領(lǐng)域，提出一種簡單的多類分類方法更是勢在必行。
　　在函數(shù)回歸和密度估計領(lǐng)域中，傳統(tǒng)的支持向量回歸機(jī)(Support Vector RearessionMachine,SVR)常常被用來估計未知的回歸函數(shù)的。然而，本文提出一種新穎的基于SVR框架的多分類方法，即基于趨同的支持向量回歸機(jī)(Support Vector Regression Machine withConsistency,SVRC

3、)的多分類方法。本文的主要貢獻(xiàn)有以下幾點(diǎn)：
　　1)為了更好地解決多分類問題，在SVR框架下，采用L1范數(shù)正則化代替最大間隔項；
　　2)我們采用樣本的類標(biāo)簽信息構(gòu)建了一個趨同矩陣，并將它作為懲罰項，使得來自相同類別的訓(xùn)練樣本對測試樣本的重構(gòu)具有近似的貢獻(xiàn)，從而改善算法的魯棒性；
　　3)用盡可能少的類別樣本來表示測試樣本，提高重構(gòu)測試樣本的準(zhǔn)確性，本文采用測試樣本與訓(xùn)練樣本之間相應(yīng)的局部近鄰關(guān)系設(shè)計了一個選擇矩陣，克