基于支持向量機(jī)的混合增量學(xué)習(xí)算法與應(yīng)用.pdf

1、支持向量機(jī)（Support Vector Machine，SVM）是建立在統(tǒng)計(jì)學(xué)理論基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法，其擁有堅(jiān)實(shí)的理論基礎(chǔ)。它在解決小樣本、高緯度、非線性模式識(shí)別學(xué)習(xí)問(wèn)題中有較多優(yōu)勢(shì)。其實(shí)質(zhì)上是一個(gè)二次規(guī)劃求解問(wèn)題。
　　本文的研究重點(diǎn)是基于支持向量機(jī)的增量學(xué)習(xí)算法研究及其在網(wǎng)絡(luò)入侵上的應(yīng)用。在分析了支持向量機(jī)在對(duì)增量學(xué)習(xí)行為上面的不足，以及現(xiàn)有的一些增量學(xué)習(xí)算法的不足，提出了一種新的基于支持向量機(jī)的增量學(xué)習(xí)算法，即基于余

2、弦相似度與函數(shù)距離的SVM增量學(xué)習(xí)算法，簡(jiǎn)稱CSFD-ISVM。該算法的主要核心思想是利用樣本集分布特點(diǎn)與歷史訓(xùn)練結(jié)果來(lái)盡量的減少樣本的數(shù)量。本文中提出了幾種方法來(lái)篩選樣本與加快樣本篩選的過(guò)程。主要工作與創(chuàng)新總結(jié)如下:
　　1)基于支持向量機(jī)的思想，最終的決策面只與少數(shù)支持向量有關(guān)，因此可以預(yù)取樣本中的準(zhǔn)支持向量，這樣就可以大大減少參與訓(xùn)練的樣本數(shù)，加快訓(xùn)練速度。提出了一種通過(guò)類別質(zhì)心與余弦角度的樣本預(yù)選策略。由大數(shù)定律，在大量樣

3、本中隨機(jī)挑選一定數(shù)量樣本的質(zhì)心是逼近整體樣本質(zhì)心的，因此提出了使用隨機(jī)抽取一定比例樣本代替整體樣本來(lái)計(jì)算樣本余弦值的方法。在此基礎(chǔ)上，本文提出了基于余弦相似度與函數(shù)距離的增量學(xué)習(xí)算法。實(shí)驗(yàn)結(jié)果表明:基于余弦相似度與函數(shù)距離的增量學(xué)習(xí)算法有效的降低了訓(xùn)練時(shí)間，同時(shí)又可以提升訓(xùn)練精度。
　　2)通過(guò)對(duì)增量學(xué)習(xí)前后樣本分布的變化進(jìn)行分析發(fā)現(xiàn):歷史樣本中的有用信息除了支持向量，還有同樣非常重要的邊界非支持向量，針對(duì)邊緣向量的提取，本文提出

4、了一種基于余弦相似度與函數(shù)距離的預(yù)取策略，并且通過(guò)實(shí)驗(yàn)分析了算法中函數(shù)距離的容忍因子對(duì)增量學(xué)習(xí)的影響，表明該方法對(duì)增量學(xué)習(xí)的精度有較明顯的提升。通過(guò)UCI標(biāo)準(zhǔn)數(shù)據(jù)集與其它數(shù)據(jù)集的仿真實(shí)驗(yàn)結(jié)果表明，本文提出的基于余弦相似度與函數(shù)距離預(yù)取策略的增量學(xué)習(xí)算法是可行的和有效的。最后將其應(yīng)用到網(wǎng)絡(luò)入侵檢測(cè)，通過(guò)KDD CUP99數(shù)據(jù)仿真實(shí)驗(yàn)，本文提出的混合增量學(xué)習(xí)算法在訓(xùn)練速度與檢測(cè)速度上都有不錯(cuò)的表現(xiàn)，而且保持高檢測(cè)率與低誤報(bào)率，因此很適合用來(lái)