多支持向量機融合算法研究.pdf

1、統(tǒng)計學習理論系統(tǒng)地研究了小樣本情況下的機器學習問題。20世紀90年代，在這一理論基礎(chǔ)下提出的支持向量機(SupportVectorMachine，SVM)較好解決了小樣本、過學習、“維數(shù)災”、局部極小等問題，具有很強的泛化能力。 多分類器融合作為信息融合、模式識別、機器學習等領(lǐng)域交叉形成的一個分支，近年來成為一個新的研究熱點。對于多個兩分類SVM分類器融合方法及應用方面的研究還不完善，而對于多個多分類支持向量機(Multi-cl

2、assSVM，MSVM)分類器融合的研究更是剛剛起步。 本文對多個SVM分類器融合和集成方法及應用進行了系統(tǒng)深入的研究。主要工作包括以下幾個方面： 介紹了機器學習、統(tǒng)計學習的理論基礎(chǔ)，在此基礎(chǔ)上詳細介紹了SVM方法的概念和特點，全面系統(tǒng)地闡述了SVM、信息融合、多分類器融合的研究進展和現(xiàn)狀，分析了SVM分類器融合方法的研究發(fā)展趨勢和存在的不足。 針對如何通過分類器融合提高決策分類性能，同時保持低的計算復雜性和占用

3、較少存儲資源的問題，提出了一種基于粗集理論構(gòu)造SVM集成分類器的新方法。首先利用基于粗集理論的屬性約簡算法刪除冗余和次要屬性，得到最優(yōu)特征子集，并根據(jù)最優(yōu)特征子集來構(gòu)建相應的輸入子空間。然后對于每個輸入子空間，訓練相應的SVM子分類器。具有較高分類性能的SVM子分類器被挑選出來用于建立SVM集成分類器。最后通過醫(yī)療診斷數(shù)據(jù)集進行了仿真驗證，并與其他分類器集成方法進行了比較分析。試驗結(jié)果驗證了所提方法的有效性。 針對多信息源、多分

4、類問題，提出了幾種基于MSVM的集中式和分布式融合策略和方法，并對現(xiàn)有方法的不足提出了改進的輔助決策函數(shù)。分別采用一對一(one-against-one)，一對多(one-against-all)和有向無環(huán)圖(DirectedAcyclicGraph，DAG)方法合并多個兩分類SVM分類器來構(gòu)造MSVM。所提的融合策略充分利用了MSVM的特性：一是通過構(gòu)造并合并幾個兩分類SVM子分類器建立MSVM；二是通過尋找具有最大間隔的最優(yōu)分類超平

5、面來訓練兩分類SVM子分類器。利用多缸柴油機的故障診斷數(shù)據(jù)集對所提方法進行了驗證，詳細分析比較了各種融合方法的優(yōu)缺點、適用范圍以及三種MSVM分類器的性能差異。 提出了多分類概率支持向量機(Multi-classProbabilitySVM，MPSVM)方法，并給出了多個MPSVM分類器的貝葉斯融合算法。基于one-against-all策略分解多分類問題，訓練多個兩分類SVM結(jié)合擠壓函數(shù)產(chǎn)生具有后驗概率輸出的支持向量機(Pro

6、babilitySVM，PSVM)并進行組合，構(gòu)造出MPSVM，分別采用均值和中值貝葉斯方法來融合多個MPSVM分類器。仿真實驗說明了該算法的有效性。 提出了MPSVM在證據(jù)理論框架下的基本概率分配函數(shù)，證據(jù)理論支持向量機(Dempster-ShafertheorybasedMSVM，DSMSVM)構(gòu)造算法，多個DSMSVM融合算法。通過設(shè)計基本概率分配函數(shù)，利用證據(jù)合并規(guī)則合并MPSVM提供的證據(jù)，并僅對單元素集應用最大信任準

7、則，建立了DSMSVM。這種類型的學習機器能夠提供更多的用于后續(xù)處理的信息。在此基礎(chǔ)上用多個DSMSVM分類器融合來解決分布式的多信息源、多分類問題。針對每一個源建立相應的DSMSVM分類器，然后利用證據(jù)理論合并規(guī)則進行分類器證據(jù)融合，最終決策通過最大信任決策準則給出。將所提方法應用于柴油機的分布式故障診斷，獲得了比傳統(tǒng)方法更好的性能，提高了診斷的準確率和魯棒性。 提出了基于模糊積分的MPSVM融合算法。同時考慮了每個MPSVM

8、提供的證據(jù)和它在融合過程中的經(jīng)驗重要度，給出了兩種根據(jù)識別率來計算MPSVM分類器在融合過程中重要度的方法：一種是利用每個MPSVM的整體識別率；另一種是利用每個MPSVM對于每一類的識別率。所提算法的有效性在柴油機的分布式故障診斷中進行了仿真驗證。 針對非線性系統(tǒng)的辨識與控制問題，提出了基于SVM的逆學習方法。充分利用了SVM的小樣本統(tǒng)計學習、泛化能力強的特點，采用SVM回歸很好地逼近未知強非線性對象，對于受噪聲污染的數(shù)據(jù)具有