基于支持向量數(shù)據(jù)描述的多示例學(xué)習(xí)算法研究.pdf

1、上世紀90年代,Dietterich等人在藥物活性預(yù)測問題的研究中提出了多示例學(xué)習(xí)的概念。在該學(xué)習(xí)模型中,訓(xùn)練樣本的歧義性比較特殊,使得多示例學(xué)習(xí)模型與傳統(tǒng)的機器學(xué)習(xí)模型有很大的差別。由于多示例學(xué)習(xí)本身獨特的性質(zhì)和良好的應(yīng)用前景,被稱為是與監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)并列的第四種機器學(xué)習(xí)框架,并起了國內(nèi)外研究者的極大關(guān)注。
　　 隨著研究的深入,多示例學(xué)習(xí)的理論體系日趨成熟,目前對多示例學(xué)習(xí)問題的處理主要有三種途徑:第一種是根

2、據(jù)多示例學(xué)習(xí)本身的特殊性,構(gòu)造專門的算法來解決；第二種是通過將多示例學(xué)習(xí)的約束條件引入到傳統(tǒng)的單示例學(xué)習(xí)算法的目標函數(shù)中,對算法進行擴展,使其能夠處理多示例問題；第三種是通過一定的轉(zhuǎn)換機制,將多示例學(xué)習(xí)問題轉(zhuǎn)化為傳統(tǒng)的單示例學(xué)習(xí)問題,然后用傳統(tǒng)的單示例算法對其進行學(xué)習(xí)。在上述三類途徑下,研究者提出了大量的多示例學(xué)習(xí)算法,并將算法應(yīng)用到社會生產(chǎn)的多個領(lǐng)域中,如:圖像分類、股票選擇、入侵檢測等多個領(lǐng)域,取得了良好的經(jīng)濟效益。
　　

3、本文主要研究了以下內(nèi)容:
　　 第一章和第二章主要對多示例學(xué)習(xí)的研究現(xiàn)狀進行了綜述。簡單介紹了多示例問題的提出背景、基本理論,多示例學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)的區(qū)別與聯(lián)系,并對幾種經(jīng)典的多示例學(xué)習(xí)算法進行了闡述。介紹了多示例學(xué)習(xí)的幾個應(yīng)用領(lǐng)域,并對多示例學(xué)習(xí)的擴展研究進行了分析。
　　 第三章對支持向量數(shù)據(jù)描述算法進行了研究。首先對統(tǒng)計學(xué)理論基礎(chǔ)進行了介紹,接著介紹了支持向量機,然后對支持向量數(shù)據(jù)描述算法的基本原理和求解方法進行

4、分析與討論,最后引入核函數(shù)的概念,并對核函數(shù)對支持向量數(shù)據(jù)描述算法的影響進行了實驗與分析。
　　 第四章是本文的主要研究內(nèi)容。首先介紹了三種基于支持向量機的多示例學(xué)習(xí)算法:mi—SVM,MI—SVM和DD—SVM,將其作為與本文算法的對比算法。然后提出了一種消除正包中示例歧義性的方法,通過該方法,可以消除正包中示例的歧義性,將多示例數(shù)據(jù)集轉(zhuǎn)化為單示例數(shù)據(jù)集。最后,在多示例學(xué)習(xí)的第三種途徑下,通過對多示例數(shù)據(jù)集的轉(zhuǎn)化,將其轉(zhuǎn)化為傳

5、統(tǒng)的單示例問題,并用支持向量數(shù)據(jù)描述算法對其求解。提出了三種基于支持向量數(shù)據(jù)描述的多示例學(xué)習(xí)算法:mi—NSVDD算法、MI—NSVDD算法和MIL_P—NSVDD算法。
　　 第五章是實驗與分析,首先在多示例學(xué)習(xí)基準測試集(MUSK)上驗證本文算法的有效性,并與現(xiàn)有算法進行對比分析,以及參數(shù)對算法的影響。接著將本文提出的MIL_P—NSVDD算法應(yīng)用到圖像分類中,在實踐中驗證本文算法,并通過實驗,觀察樣本的種類和數(shù)量對算法精度