支持向量機學(xué)習(xí)算法若干問題的研究.pdf

1、支持向量機(SVM)是一種以統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)的數(shù)據(jù)挖掘新方法.隨著統(tǒng)計學(xué)習(xí)理論的發(fā)展，SVM在理論和應(yīng)用方面都得到了迅速地發(fā)展和完善.SVM具有較高的推廣能力和解的全局最優(yōu)性，在解決小樣本問題、非線性問題以及高維數(shù)據(jù)等問題中表現(xiàn)出許多特有的優(yōu)勢，已被廣泛應(yīng)用于處理預(yù)測、數(shù)據(jù)擬合、綜合評價以及模式識別等諸多問題中.
　　 目前國際上支持向量機的理論研究和實際應(yīng)用兩方面都正處于飛速發(fā)展階段.如何提高分類器的性能、速度、以及處理數(shù)據(jù)

2、的范圍等問題始終是研究者研究的目標.
　　 本文主要從機器學(xué)習(xí)的角度對支持向量機分類、聚類、集成、以及核函數(shù)等方面進行研究，對支持向量機算法進行修正，旨在提高支持向量機性能以及處理更為廣泛的數(shù)據(jù)類型.本文主要內(nèi)容如下：
　　 1.支持向量機分類問題研究.針對多源數(shù)據(jù)分類問題，提出分組特征多核SVM.該方法將不同源的數(shù)據(jù)進行分組，每組特征分別采用不同的核函數(shù)，將這些核函數(shù)的凸組合作為新的核函數(shù)，并將基于該新核的SVM問題轉(zhuǎn)

3、化為半定規(guī)劃問題來求解.實驗結(jié)果表明，該方法可以有效地提高分類器的檢測性能.
　　 2.支持向量機聚類問題研究.針對支持向量機聚類算法(SVMC)只可以聚集兩個類簇的問題，提出多類支持向量機聚類(Multi-Class SVMC)算法.該方法在二分類支持向量機聚類的基礎(chǔ)上采用一對多(OAA)策略，將SVMC 推廣到多類簇問題；此外針對Multi-Class SVMC算法需要預(yù)先定義聚類數(shù)目的問題，提出分級支持向量機聚類(Hier

4、archical SVMC)算法.該算法是將數(shù)據(jù)隨機標記為兩類，然后采用迭代的方法修正標記，直到標記變得穩(wěn)定為止.數(shù)據(jù)被分為兩個類簇，基于這兩個類簇分別繼續(xù)采用SVMC算法將類簇向下分裂，直到滿足終止條件.與傳統(tǒng)的支持向量聚類相比，多類支持向量機聚類和分級支持向量機聚類具有簡單易行、速度快、聚類效果好的優(yōu)點.
　　 3.大規(guī)模支持向量機算法研究.針對大規(guī)模數(shù)據(jù)分類問題，提出局部差異性自適應(yīng)推進支持向量機集成算法.該方法將數(shù)據(jù)平均

5、分成若干塊，基于這些子塊分別采用差異性自適應(yīng)推進支持向量機算法.通過網(wǎng)格搜索法調(diào)節(jié)支持向量機的核參數(shù)和懲罰因子將強分類器SVM 弱化，再將弱化后的SVM 采用自適應(yīng)推進算法推進為強分類器，最后將局部模型采用投票的方法集成.實驗結(jié)果表明，局部差異性自適應(yīng)推進支持向量機在不降低分類器性能的同時可以有效地處理大規(guī)模數(shù)據(jù)分類問題.
　　 4.支持向量機集成算法研究.針對支持向量機集成問題，提出多模式擾動支持向量機集成算法.采用自舉法對訓(xùn)

6、練樣本有放回采樣，得到若干子樣本集合，在每一個子樣本上采用多模式擾動的方法以增加成員分類器的精度以及成員分類器之間的差異性.首先為增加成員分類器間的差異性，在特征擾動方面采用主成分分析法降維；其次為增加成員分類器的精度，在訓(xùn)練模型過程中每個子集通過自動模型選擇采用不同的最優(yōu)參數(shù)產(chǎn)生參數(shù)擾動；最后是輸出擾動，用成員分類器的精度值對輸出結(jié)果加權(quán)，以增大高精度成員分類器對集成結(jié)果的影響.與單模式擾動方法相比，該多模式擾動的方法可以提高支持向量

7、機集成性能.
　　 5.約減支持向量機分類算法研究.約減子集的選擇是約減支持向量機性能的關(guān)鍵影響因素.針對約減子集的選擇問題，提出基于噪聲的空間密度聚類算法的矩形核支持向量機(DBSCAN-RSVM).該方法采用DBSCAN聚類方法對樣本聚類，用聚類得到的核數(shù)據(jù)作為矩形核的約減子集，并將該矩形核支持向量機轉(zhuǎn)化為光滑支持向量機問題來求解.與傳統(tǒng)約減支持向量機、K均值約減支持向量機、以及傳統(tǒng)SVM相比，該DBSCAN-RSVM具有更