增量支持向量機(jī)學(xué)習(xí)算法研究.pdf

1、支持向量機(jī)（Support Vector Machine，SVM）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的通用有效的機(jī)器學(xué)習(xí)方法，鑒于其堅(jiān)實(shí)的理論基礎(chǔ)和良好的泛化性能，已被廣泛應(yīng)用到很多領(lǐng)域。但是由于其本質(zhì)上求解的是凸二次規(guī)劃問題，需要進(jìn)行大規(guī)模的矩陣運(yùn)算，因此只適用于小規(guī)模數(shù)據(jù)。當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，矩陣的運(yùn)算會(huì)非常繁瑣，學(xué)習(xí)的效率也會(huì)變低。增量學(xué)習(xí)方法通過每次加入一個(gè)或者一批增量樣本進(jìn)行訓(xùn)練，將大規(guī)模問題分解成一系列子問題。本文采用增量學(xué)習(xí)技術(shù)，針對(duì)訓(xùn)

2、練樣本是否有標(biāo)記，提出兩種增量支持向量機(jī)（Incremental Support Vector Machine, ISVM）學(xué)習(xí)模型，以有效提高SVM處理大規(guī)模數(shù)據(jù)的性能。
　　本文的研究工作主要包括以下兩個(gè)方面：
　　（1）針對(duì)有標(biāo)記樣本的增量學(xué)習(xí)過程進(jìn)行研究。在該過程中，增量樣本選擇不當(dāng)，可能會(huì)降低模型的學(xué)習(xí)能力和泛化性能。但目前選擇增量樣本的算法或者是隨機(jī)選擇，或者選擇的方法過于復(fù)雜。針對(duì)該問題，本文提出了基于概率密度

3、分布的PISVM模型。該模型通過使用概率密度分布選擇含有較多重要分類信息（有可能成為支持向量）的增量樣本，且當(dāng)其預(yù)測(cè)值與真實(shí)值不一致時(shí)，才將其加入訓(xùn)練集進(jìn)行訓(xùn)練，以加快模型的收斂的速度。在標(biāo)準(zhǔn)數(shù)據(jù)集UCI上的實(shí)驗(yàn)結(jié)果表明PISVM模型在保持其泛化能力的同時(shí)能進(jìn)一步提高學(xué)習(xí)效率。
　?。?）對(duì)部分有標(biāo)記的組合半監(jiān)督支持向量機(jī)學(xué)習(xí)問題進(jìn)行研究。組合半監(jiān)督支持向量機(jī)需要在無標(biāo)記樣本的所有標(biāo)記組合中尋找最優(yōu)的那組作為其最終的標(biāo)記。而該方法

4、存在一個(gè)較大的問題：計(jì)算復(fù)雜度過高。針對(duì)該問題，本文將增量學(xué)習(xí)方法引入其中，提出了基于增量學(xué)習(xí)方法的半監(jiān)督支持向量機(jī)模型IS3VM。該模型通過將大量的無標(biāo)記樣本分批進(jìn)行組合標(biāo)記來降低算法的計(jì)算復(fù)雜度。每次選擇位于分類間隔內(nèi)部的樣本進(jìn)行標(biāo)記，并將使分類間隔最大的那組標(biāo)記作為其最終標(biāo)記，以確保標(biāo)記的準(zhǔn)確性；然后將其加入訓(xùn)練集進(jìn)行訓(xùn)練，以此來修正模型。從而在保證模型精度的同時(shí)，降低模型的計(jì)算復(fù)雜度。
　　本文提出了兩種模型PISVM和I