層次粒度支持向量機學習算法研究.pdf

1、支持向量機(Support Vector Machine,SVM)作為機器學習研究中的一個熱點,建立在統(tǒng)計學習理論的VC維理論和結構化風險最小化原理的基礎上,在模式識別和時間序列預測等很多數(shù)據(jù)挖掘領域得到廣泛的應用,具有簡潔的數(shù)學形式、標準快捷的訓練方法和良好的泛化性能。目前,SVM在處理實際應用中的復雜龐大數(shù)據(jù)集時能力非常有限,訓練樣本的多少極大地影響了SVM的訓練效率且SVM在處理特定空間的分類問題時效率不高。因此,如何提高支持向量

2、機的泛化能力且保證訓練效率成為支持向量機研究中的一個重要問題,這也是本文研究的目的。
　　支持向量機學習算法在訓練過程中容易產(chǎn)生冗余樣本,不同的訓練樣本對于訓練過程的貢獻度不同,容易錯分的樣本對構造分類超平面的貢獻度較大,而不容易錯分的樣本對構造分類超平面的貢獻度較小。因此,根據(jù)樣本對決策超平面的貢獻程度進而構造粒度支持向量機是一種簡化訓練復雜度提高效率的有效方法。
　　本文將層次分類思想、粒度計算理論和傳統(tǒng)SVM分類方法進

3、行了融合,建立了一種有效的層次粒度支持向量機學習機制,通過引入一個衡量粒的重要性的評價指標,篩選出對建立決策邊界貢獻度比較大的粒,剔除部分冗余粒,用保留粒中的代表點進行構造支持向量機的訓練集。這種學習機制抽取重要分類信息構造訓練集進行學習器的訓練,分類速度遠遠高于SVM,同時,由于訓練可在不同層次的粒中進行,所以可獲得令人滿意的優(yōu)于傳統(tǒng)粒度SVM的泛化能力。
　　(1)對傳統(tǒng)的SVM模型的構造和原理進行了詳細的介紹,指出SVM在解

4、決分類問題中出現(xiàn)的主要問題。對粒度支持向量機的算法思想進行分析和探討,同時,對粒度支持向量機算法的優(yōu)點和缺點做了詳細的闡述,針對這些問題本文進行了探索研究。
　　(2)提出一種針對大規(guī)模數(shù)據(jù)集分類的層次粒度支持向量機學習算法。這種模型通過定義一個新的數(shù)據(jù)置信度來挑選出有價值的樣本(即對建立決策邊界貢獻度較大),并在每一層的訓練中根據(jù)粒的分布情況進行自動粒劃分,以獲得更好的泛化能力。
　　(3)提出一種針對密度分布不均勻數(shù)據(jù)集

5、的動態(tài)粒度支持向量機學習算法,并對動態(tài)粒度支持向量機算法的思想進行探討和研究。這種模型根據(jù)粒的不同分布自動進行粒劃分,使SVM可以在不同層次的粒上訓練,可以有效地克服傳統(tǒng)SVM在處理大規(guī)模數(shù)據(jù)集時訓練效率低下的問題,同時,也可獲得較好的泛化性能。
　　(4)為了對本文所提出的層次粒度SVM學習算法進行驗證,在標準UCI數(shù)據(jù)集上進行了一系列的實驗,取得了滿意的預期效果。通過將本文提出的方法與經(jīng)典SVM算法和傳統(tǒng)粒度SVM算法進行實驗