類內(nèi)結(jié)構(gòu)支持向量機學習算法研究.pdf

1、支持向量機是建立在統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險最小化原則的基礎(chǔ)上的一種機器學習方法。它根據(jù)有限的數(shù)據(jù)信息在模型的復(fù)雜性和學習能力之間尋求最佳折衷，以獲得最好的泛化能力。支持向量機具有堅實的數(shù)學理論基礎(chǔ)，能夠較好地解決有限樣本、非線性、過學習、高維數(shù)和局部極小點等學習問題。由于其優(yōu)越的性能，已被廣泛應(yīng)用于許多領(lǐng)域中，并已成為機器學習領(lǐng)域的研究熱點之一。
　　本文對支持向量機理論進行了深入地研究，指出其在尋找最優(yōu)分類超平面的過程

2、中忽略了一種重要的先驗知識，即樣本的類內(nèi)結(jié)構(gòu)。為此，本文研究了類內(nèi)結(jié)構(gòu)支持向量機算法，即基于樣本的類內(nèi)離散度提出的改進支持向量機算法，隨后分別對目前存在的噪聲問題、孤立點檢測問題、不平衡數(shù)據(jù)學習問題做了進一步的研究。主要工作如下:
　　(1)指出現(xiàn)有的支持向量機算法模型中存在的問題，即忽略了樣本的類內(nèi)結(jié)構(gòu)。分析了支持向量機與Fisher判別分析算法的相似點與不同點，提出基于類內(nèi)離散度的支持向量機(WCS-SVM)算法。該算法的基本

3、思想就是尋找一個最優(yōu)分類超平面，不僅將兩類樣本盡量正確分開，在保持較高分類精度的同時最大化分類間隔，而且使得樣本的類內(nèi)離散度盡可能的小。數(shù)值實驗證明了此算法具有良好的分類性能。最后，將無監(jiān)督聚類技術(shù)同WCS-SVM算法結(jié)合起來用于網(wǎng)絡(luò)入侵檢測中，進一步驗證了算法的有效性。
　　(2)在模糊支持向量機中，為了更好地刻畫訓練樣本對分類超平面的貢獻，提出一種新的基于樣本緊密度的模糊隸屬度函數(shù)設(shè)計方法。該隸屬度函數(shù)不僅考慮了樣本與所在類中

4、心之間距離，同時還考慮了類內(nèi)樣本之間的緊密度。重點在于我們引入兩個參數(shù)來分別控制正負兩類樣本的緊密度，這兩個參數(shù)需要預(yù)先設(shè)定。文中，我們通過支持向量數(shù)據(jù)描述算法來確定這兩個參數(shù)。數(shù)值實驗證明了該隸屬函數(shù)可以更好地降低噪聲或野值點對分類結(jié)果的影響。為了更好地處理被噪聲污染的數(shù)據(jù)集分類問題，對于每個訓練樣本賦予不同的模糊隸屬度的同時，考慮了樣本的類內(nèi)結(jié)構(gòu)，提出新的基于樣本類內(nèi)結(jié)構(gòu)的模糊支持向量機(WCS-FSVM)算法。文中詳細地給出了算法

5、的推導過程的同時，嚴格證明了該算法的收斂性。數(shù)值實驗驗證了該改進算法的有效性，降低了噪聲的影響，提高了分類精度。
　　(3)孤立點檢測是數(shù)據(jù)挖掘和機器學習的研究熱點之一。它的任務(wù)就是從已有觀測數(shù)據(jù)中建立正常行為數(shù)據(jù)的模型進行異常行為的檢測。我們充分利用樣本信息，對一類支持向量機算法進行了改進，并將其應(yīng)用于孤立點檢測中。實驗中，我們采用總正確檢測率與Kappa系數(shù)κ作為性能評價標準，與其它一類標準算法GDD、NNDD、PCA、OC-

6、SVM進行比較。結(jié)果證明該改進算法是有效的，優(yōu)于其他比較算法，在一定程度上提高了檢測率。
　　(4)不平衡數(shù)據(jù)廣泛存在于實際應(yīng)用中，不平衡數(shù)據(jù)學習也是目前機器學習和數(shù)據(jù)挖掘領(lǐng)域中的研究熱點之一。對于支持向量機來說，正負訓練樣本不平衡會引起分類超平面向少數(shù)類偏移。為了有效抑制分類超平面的偏移，本文提出了基于類內(nèi)結(jié)構(gòu)的不同誤分代價支持向量機算法。該算法不僅對少數(shù)類和多數(shù)類分別采用不同的誤分代價（對少數(shù)類賦予更大的懲罰因子），而且同樣考