支持向量機(jī)學(xué)習(xí)算法若干問題的研究.pdf

1、支持向量機(jī)(SVM)是一種以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的數(shù)據(jù)挖掘新方法.隨著統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展，SVM在理論和應(yīng)用方面都得到了迅速地發(fā)展和完善.SVM具有較高的推廣能力和解的全局最優(yōu)性，在解決小樣本問題、非線性問題以及高維數(shù)據(jù)等問題中表現(xiàn)出許多特有的優(yōu)勢(shì)，已被廣泛應(yīng)用于處理預(yù)測(cè)、數(shù)據(jù)擬合、綜合評(píng)價(jià)以及模式識(shí)別等諸多問題中.
　　 目前國(guó)際上支持向量機(jī)的理論研究和實(shí)際應(yīng)用兩方面都正處于飛速發(fā)展階段.如何提高分類器的性能、速度、以及處理數(shù)據(jù)

2、的范圍等問題始終是研究者研究的目標(biāo).
　　 本文主要從機(jī)器學(xué)習(xí)的角度對(duì)支持向量機(jī)分類、聚類、集成、以及核函數(shù)等方面進(jìn)行研究，對(duì)支持向量機(jī)算法進(jìn)行修正，旨在提高支持向量機(jī)性能以及處理更為廣泛的數(shù)據(jù)類型.本文主要內(nèi)容如下：
　　 1.支持向量機(jī)分類問題研究.針對(duì)多源數(shù)據(jù)分類問題，提出分組特征多核SVM.該方法將不同源的數(shù)據(jù)進(jìn)行分組，每組特征分別采用不同的核函數(shù)，將這些核函數(shù)的凸組合作為新的核函數(shù)，并將基于該新核的SVM問題轉(zhuǎn)

3、化為半定規(guī)劃問題來求解.實(shí)驗(yàn)結(jié)果表明，該方法可以有效地提高分類器的檢測(cè)性能.
　　 2.支持向量機(jī)聚類問題研究.針對(duì)支持向量機(jī)聚類算法(SVMC)只可以聚集兩個(gè)類簇的問題，提出多類支持向量機(jī)聚類(Multi-Class SVMC)算法.該方法在二分類支持向量機(jī)聚類的基礎(chǔ)上采用一對(duì)多(OAA)策略，將SVMC 推廣到多類簇問題；此外針對(duì)Multi-Class SVMC算法需要預(yù)先定義聚類數(shù)目的問題，提出分級(jí)支持向量機(jī)聚類(Hier

4、archical SVMC)算法.該算法是將數(shù)據(jù)隨機(jī)標(biāo)記為兩類，然后采用迭代的方法修正標(biāo)記，直到標(biāo)記變得穩(wěn)定為止.數(shù)據(jù)被分為兩個(gè)類簇，基于這兩個(gè)類簇分別繼續(xù)采用SVMC算法將類簇向下分裂，直到滿足終止條件.與傳統(tǒng)的支持向量聚類相比，多類支持向量機(jī)聚類和分級(jí)支持向量機(jī)聚類具有簡(jiǎn)單易行、速度快、聚類效果好的優(yōu)點(diǎn).
　　 3.大規(guī)模支持向量機(jī)算法研究.針對(duì)大規(guī)模數(shù)據(jù)分類問題，提出局部差異性自適應(yīng)推進(jìn)支持向量機(jī)集成算法.該方法將數(shù)據(jù)平均

5、分成若干塊，基于這些子塊分別采用差異性自適應(yīng)推進(jìn)支持向量機(jī)算法.通過網(wǎng)格搜索法調(diào)節(jié)支持向量機(jī)的核參數(shù)和懲罰因子將強(qiáng)分類器SVM 弱化，再將弱化后的SVM 采用自適應(yīng)推進(jìn)算法推進(jìn)為強(qiáng)分類器，最后將局部模型采用投票的方法集成.實(shí)驗(yàn)結(jié)果表明，局部差異性自適應(yīng)推進(jìn)支持向量機(jī)在不降低分類器性能的同時(shí)可以有效地處理大規(guī)模數(shù)據(jù)分類問題.
　　 4.支持向量機(jī)集成算法研究.針對(duì)支持向量機(jī)集成問題，提出多模式擾動(dòng)支持向量機(jī)集成算法.采用自舉法對(duì)訓(xùn)

6、練樣本有放回采樣，得到若干子樣本集合，在每一個(gè)子樣本上采用多模式擾動(dòng)的方法以增加成員分類器的精度以及成員分類器之間的差異性.首先為增加成員分類器間的差異性，在特征擾動(dòng)方面采用主成分分析法降維；其次為增加成員分類器的精度，在訓(xùn)練模型過程中每個(gè)子集通過自動(dòng)模型選擇采用不同的最優(yōu)參數(shù)產(chǎn)生參數(shù)擾動(dòng)；最后是輸出擾動(dòng)，用成員分類器的精度值對(duì)輸出結(jié)果加權(quán)，以增大高精度成員分類器對(duì)集成結(jié)果的影響.與單模式擾動(dòng)方法相比，該多模式擾動(dòng)的方法可以提高支持向量

7、機(jī)集成性能.
　　 5.約減支持向量機(jī)分類算法研究.約減子集的選擇是約減支持向量機(jī)性能的關(guān)鍵影響因素.針對(duì)約減子集的選擇問題，提出基于噪聲的空間密度聚類算法的矩形核支持向量機(jī)(DBSCAN-RSVM).該方法采用DBSCAN聚類方法對(duì)樣本聚類，用聚類得到的核數(shù)據(jù)作為矩形核的約減子集，并將該矩形核支持向量機(jī)轉(zhuǎn)化為光滑支持向量機(jī)問題來求解.與傳統(tǒng)約減支持向量機(jī)、K均值約減支持向量機(jī)、以及傳統(tǒng)SVM相比，該DBSCAN-RSVM具有更