基于選擇性集成學習的支持向量機分類研究.pdf

1、近些年來，隨著科技的迅速發(fā)展，導致數(shù)據(jù)量的不斷增多，這在無形中帶來了很多的問題，比如很多數(shù)據(jù)需要進行分類和整理，單純的依靠人工去分類這些數(shù)據(jù)將會產(chǎn)生非常大的工作量，給人們的工作和生活帶來諸多的不便。而機器學習作為一個可以幫助人們解決這類問題的方法越來越引起了人們的關注?，F(xiàn)如今，機器學習在疾病診斷、生物信息識別、地理信息系統(tǒng)等領域都得到了相關的應用和研究，為人們的生活和工作帶來了很多的方便。集成學習作為一種可以將多個分類器整合的機器學習方

2、法也在發(fā)揮著越來越重要的作用。一般集成學習系統(tǒng)相比較弱分類器個體來說，它的集成學習效果要好一些。因此之前關于集成學習的研究多集中于與弱分類器的結合，對于如何與SVM這種強分類器去進行有效地集成的研究并不多見。對此，本文所做出的工作主要可以分為以下幾個方面：
　　1、提出基于Bagging算法的SVM選擇性集成
　　結合Bagging算法以及選擇性集成理論，提出基于Bagging算法的SVM選擇性集成方法。首先通過Baggin

3、g算法的Bootstrap方式對原始數(shù)據(jù)集合進行選取，得到訓練子集合，然后在原數(shù)據(jù)的特征集合中隨機選取出特征子集合，并且在該訓練子集合上進行投影，得到所需要的輸入數(shù)據(jù)，通過這種改變輸入樣本的方式來解決弱化SVM分類器的問題，并且使得各個子分類器之間產(chǎn)生一定的差異性；其次，算法結合選擇性集成的理論，對于產(chǎn)生的各個子分類器進行精度上的排序，選取出部分精度較好的子分類器進行集成，解決了集成的個體需要保證一定準確率才可提升整體性能的問題，使得整

4、體性能得到改善，同時降低了所需的計算資源。
　　2、提出基于Adaboost算法的SVM選擇性集成
　　結合Adaboost算法的迭代加權過程，以及選擇性集成方法，提出基于Adaboost算法的SVM選擇性集成方法。算法首先結合SVM的分類特點，將SVM分類中較難和較易分類的部分數(shù)據(jù)提供給Adaboost算法，同時在算法的迭代過程中根據(jù)準確率的計算來調(diào)整SVM的核參數(shù)，通過這兩種方式解決在Adaboost算法中弱化SVM個體

5、學習器的問題，同時解決個體學習器的差異性，以及預測準確性要保持在一定水平的理論問題；其次，在構成集成學習系統(tǒng)的過程中結合選擇性集成方法，提出一種新的選取子分類器的方法，其通過將個體準確率與整體系統(tǒng)準確率進行比較，將符合整體準確率要求的子學習器加入到最終的集成學習系統(tǒng)中，改善系統(tǒng)的準確性，減小集成系統(tǒng)的規(guī)模。
　　集成學習與強學習類型的分類器進行結合的主要問題就是如何達到集成學習中弱學習器、個體差異性以及準確性這三個方面的平衡，只有