基于SVDD的單-多示例學(xué)習(xí)研究.pdf

1、在最小包圍球理論和支持向量機(jī)理論基礎(chǔ)上發(fā)展起來的支持向量數(shù)據(jù)描述方法SVDD，在較少樣本時(shí)也可以得到較好的分類效果，與其他方法相比，具有計(jì)算速度快、魯棒性強(qiáng)、分類效果好等優(yōu)點(diǎn)，目前該方法已成功應(yīng)用在語音字符識(shí)別、圖像處理、入侵檢測(cè)等領(lǐng)域。
　　 真實(shí)世界的對(duì)象往往并不只具有唯一的語義，而是可能具有多義性，因而對(duì)多義性對(duì)象進(jìn)行學(xué)習(xí)是一個(gè)非常重要的課題。而要解決多義性造成的問題，第一步就是要為對(duì)象賦予合適的類別標(biāo)記子集，而不再是唯一

2、的類別標(biāo)記。因此自然界中的許多分類問題實(shí)際上都可以表示為多示例或多標(biāo)記學(xué)習(xí)問題，換句話說，很多實(shí)際的分類問題表示為多示例或多標(biāo)記學(xué)習(xí)問題更為科學(xué)。
　　 本文通過對(duì)支持向量機(jī)數(shù)據(jù)描述方法SVDD的研究，提出兩種基于SVDD的分類方法；通過對(duì)多示例學(xué)習(xí)問題的研究，提出了四類十種基于SVDD的多示例學(xué)習(xí)方法。其主要研究內(nèi)容如下：
　　 提出了一種基于最大球心距的SVDD方法，它對(duì)不同類樣本采用不同的超球進(jìn)行數(shù)據(jù)描述，運(yùn)用兩個(gè)

3、超球?qū)深愑?xùn)練樣本分開，同時(shí)以兩個(gè)球之間的球心距最大化為目標(biāo)函數(shù)。由于對(duì)不同類樣本采用不同的超球進(jìn)行數(shù)據(jù)描述，所以該方法對(duì)不平衡問題特別有效。實(shí)驗(yàn)結(jié)果表明了該方法的有效性，特別是對(duì)不平衡問題，基于最大球心距的SVDD方法都獲得了比較好的分類效果。
　　 采用二階損失函數(shù)，提出了一種二階環(huán)形間隔SVDD方法，它運(yùn)用兩個(gè)同心超球?qū)深愑?xùn)練樣本分開，同時(shí)最大化兩類間隔。并且，針對(duì)不平衡數(shù)據(jù)分類導(dǎo)致分界面偏移的問題，提出了兩種修正模型。

4、第一種修正模型目標(biāo)函數(shù)中對(duì)正類和負(fù)類采用了不同的懲罰參數(shù)，約束條件采用不對(duì)稱策略，即對(duì)于多數(shù)類樣本，要求其在超球內(nèi)，對(duì)于少數(shù)類樣本，不僅要求它們?cè)诔蛲?，而且要盡量遠(yuǎn)離超球，以保證少數(shù)類樣本盡量不被錯(cuò)分；第二種修正模型則采用少數(shù)類樣本不允許被錯(cuò)分的策略。實(shí)驗(yàn)驗(yàn)結(jié)果表明，不管是對(duì)平衡問題還是不平衡問題，二階環(huán)形間隔SVDD方法及針對(duì)不平衡問題的修正模型都獲得了比較好的分類效果。
　　 將SVDD方法引入到多示例學(xué)習(xí)中，提出了四類十

5、種基于SVDD的多示例學(xué)習(xí)方法：基于示例分類的方法mi-SVDD，基于包分類的方法MI-SVDD，基于示例映射的SVDD-MILD_I類方法四種SVDD-MILD_I11、SVDD-MILD_I12、SVDD-MILD_I21、SVDD-MILD_I22以及基于包映射的SVDD-MILD_B類方法四種SVDD-MILD_B11、SVDD-MILD_B12、SVDD-MILD_B21、SVDD-MILD_B22。mi-SVDD算法開始假設(shè)

6、正包中所有示例均為正類，并將他們與負(fù)包中的示例放在一起，然后利用帶負(fù)類的NSVDD去設(shè)計(jì)分類器并進(jìn)行迭代以修正正包中示例的類別；MI-SVDD算法從每個(gè)正包中選出一個(gè)最正的示例認(rèn)為是正示例，從每個(gè)負(fù)包中選出一個(gè)最不負(fù)的示例認(rèn)為是負(fù)示例，把這些最正的示例和最不負(fù)的示例放在一起，然后利用帶負(fù)類的NSVDD去設(shè)計(jì)分類器并進(jìn)行迭代以修正最正的示例；SVDD-MILD_I類算法和SVDD-MILD_B類算法首先通過某種方式預(yù)測(cè)正包中的代表性正示例

7、和負(fù)包中的代表性負(fù)示例，然后通過示例級(jí)別和包級(jí)別兩種特征映射將問題映射到特征空間，從而多示例學(xué)習(xí)問題轉(zhuǎn)化成特征空間中標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)問題，最后用帶負(fù)類的NSVDD方法進(jìn)行求解。
　　 在Musk數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，mi-SVDD方法和MI-SVDD方法的精度與mi-SVM方法和MI-SVM的總體相當(dāng)，而四種SVDD-MILD_I類方法的精度都比較高，不管是對(duì)Musk1還是Musk2，都超過了我們已知的目前已發(fā)表的最好結(jié)果，四種

8、SVDD-MILD_B類方法的精度則比四種SVDD-MILD_I類方法的精度要低，與目前已發(fā)表的算法的平均精度相當(dāng)。
　　 最后，我們利用四種SVDD-MILD_I類方法和四種SVDD-MILD_B類方法對(duì)COREL圖像庫進(jìn)行了基于內(nèi)容的圖像檢索。實(shí)驗(yàn)證明，四種SVDD-MILD_I類算法的精度明顯比四種SVDD_MILD_B類算法的要高，特別是SVDD-MILD_I21算法和SVDD-MILD1_I22算法表現(xiàn)優(yōu)秀，其對(duì)10類