單分類支持向量機(jī)的學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(SupportVectorMachine，SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的新型機(jī)器學(xué)習(xí)算法。SVM采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍，具有擬合精度高、選擇參數(shù)少、推廣能力強(qiáng)和全局最優(yōu)等優(yōu)勢。SVM為解決小樣本、高維數(shù)及非線性等問題提供了有效工具，已成為機(jī)器學(xué)習(xí)領(lǐng)域中研究熱點(diǎn)之一并得到了廣泛應(yīng)用。
　　 SVM是針對二分類問題提出的，需要兩種類別的樣本作為訓(xùn)練樣本。在實(shí)際應(yīng)用中，有些領(lǐng)域幾乎無

2、法獲取兩類的樣本或者代價(jià)極高，如敵我識別、攻擊樣本、衛(wèi)星故障等，只能獲取一個類別的樣本，故只能利用這一類樣本進(jìn)行學(xué)習(xí)，形成數(shù)據(jù)描述從而實(shí)現(xiàn)分類，故出現(xiàn)了單分類算法。
　　 支持向量數(shù)據(jù)描述(SupportVectorDataDescription，SVDD)和一類支持向量機(jī)(one-classsupportvectormachine，OCSVM)是SVM算法擴(kuò)展成的單分類算法。在相同的高斯核函數(shù)作用下，兩種算法完全等價(jià)，合稱之為

3、單分類支持向量機(jī)(1-SVM)。“工欲善其事，必先利其器”。要使1-SVM能更好地應(yīng)用于實(shí)際工程問題，首先需要解決1-SVM的訓(xùn)練或?qū)W習(xí)問題，其過程實(shí)際上是求解一個二次規(guī)劃(OP)問題。本文以提高1-SVM的學(xué)習(xí)能力為目標(biāo)，分別對1-SVM的粒子群優(yōu)化學(xué)習(xí)、快速學(xué)習(xí)以及增量學(xué)習(xí)三個方面進(jìn)行了研究，并提出了相應(yīng)的解決方案，主要工作如下:
　　 提出將粒子群優(yōu)化算法(PSO)的一種擴(kuò)展算法——線性粒子群優(yōu)化算法(LPSO)應(yīng)用到1-

4、SVM的學(xué)習(xí)上。為了解決粒子飛行到群體最優(yōu)位置容易陷入停滯狀態(tài)而過早收斂的問題，采用改變?nèi)后w最優(yōu)粒子飛行方式的策略，使群體最優(yōu)粒子與其他粒子按照不同的方式飛行，改善了LPSO算法的收斂性能，并將此方法應(yīng)用到LPSO學(xué)習(xí)1-SVM的過程中。LPSO為解決1-SVM的學(xué)習(xí)問題提供了新思路。
　　 針對1-SVM的大規(guī)模樣本集的學(xué)習(xí)問題，受啟發(fā)于隨機(jī)取樣算法在凸二次規(guī)劃問題的成功應(yīng)用，提出了一種基于隨機(jī)取樣算法的快速學(xué)習(xí)方法。隨機(jī)選取

5、大規(guī)模樣本集的兩個樣本子，依據(jù)隨機(jī)取樣引理和推導(dǎo)出的隨機(jī)結(jié)合定理，對兩個子集自身的支持向量(極值點(diǎn)，extreme)和相互間違背KKT條件的樣本（外點(diǎn)，violator)進(jìn)行融合，最后學(xué)習(xí)出兩個子集共同的新決策邊界。以此類推，直到全部樣本抽取和融合完畢。此方法將大規(guī)模樣本分批抽取為小樣本集并對每一個小樣本集進(jìn)行1-SVM學(xué)習(xí)，降低了1-SVM學(xué)習(xí)的內(nèi)存空間和計(jì)算時(shí)間，是一種有效的快速學(xué)習(xí)方法。
　　 為了實(shí)現(xiàn)1-SVM的增量學(xué)習(xí)

6、過程，分析了一類支持向量機(jī)(OCSVM)的幾何表示特性，提出了一種基于德爾塔函數(shù)的增量學(xué)習(xí)方法。因?yàn)镺CSVM的幾何結(jié)構(gòu)僅僅有一個分類超平面，在其分類超平面的決策函數(shù)上添加一個德爾塔函數(shù)能夠形成新的決策函數(shù)，即一個新的分類超平面。根據(jù)新增樣本求解德爾塔函數(shù)就是OCSVM的增量學(xué)習(xí)過程。受OCSVM二次規(guī)劃問題的啟發(fā)，分析得到德爾塔函數(shù)的優(yōu)化問題同樣是二次規(guī)劃問題，并提出利用修正的序貫最小優(yōu)化(SMO)算法進(jìn)行求解。
　　 簡要介