特征選擇及半監(jiān)督分類方法研究.pdf

1、特征選擇和半監(jiān)督分類是緩解“高維小樣本”問題的有效方法，在統(tǒng)計學(xué)、數(shù)據(jù)挖掘、機器學(xué)習(xí)、模式識別、生物信息學(xué)等領(lǐng)域取得了豐碩的研究成果，特別是在數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域，特征選擇和半監(jiān)督分類是近幾年來的研究熱點，具有十分重要的理論研究價值和實際應(yīng)用價值。
　　 特征選擇和半監(jiān)督分類主要存在以下幾個問題：（1）在選取表征能力強的特征子集時，很多特征選擇方法選擇類別識別能力靠前的k個特征，但這樣組成的特征子集并不一定具有很強的類別區(qū)分能

2、力；（2）標準協(xié)同訓(xùn)練方法要求特征集能構(gòu)成充分冗余的兩個視圖，即兩個特征子集相互獨立且能獨自訓(xùn)練分類器。這個條件在很多情況下特別是在面臨“高維小樣本”時難以滿足；（3）集成多分類器類型的半監(jiān)督分類方法提升“小樣本”背景下弱分類器的性能時，對基分類器的要求較高，但基分類器的分類性能因標記樣本的不足往往不高，進而造成集成后的分類器總體性能提升不明顯；（4）當前已有研究者將流形學(xué)習(xí)方法與半監(jiān)督學(xué)習(xí)結(jié)合起來，利用大量未標記樣本蘊含的幾何結(jié)構(gòu)信息

3、來設(shè)計高精度的分類算法。但通常這類半監(jiān)督方法不僅復(fù)雜且參數(shù)調(diào)節(jié)較為繁瑣。
　　 針對“高維小樣本”中特征選擇及半監(jiān)督分類存在的問題，在如下4個方面進行了研究，相關(guān)研究及主要成果有：
　　 （1）對單特征類別區(qū)分能力的評價擴展到對特征子集的類別區(qū)分能力評價，并結(jié)合“最好優(yōu)先”搜索策略，給出了一種能直接選取具有強類別區(qū)分能力的特征子集選取方法FSCRF。實驗結(jié)果表明，F(xiàn)SCRF能在大多數(shù)情況下有效地選出特征數(shù)目更少、分類精度

4、更高的特征子集。在此基礎(chǔ)上，將該方法應(yīng)用在老年癡呆診斷方面，同樣取得了令人滿意的結(jié)果。
　　 （2）分析了現(xiàn)有協(xié)同訓(xùn)練方法存在的一些問題，給出了一種新的交叉訓(xùn)練半監(jiān)督分類方法NC-T。NC-T將標記樣本劃分成三份，并利用三個基分類器對其進行訓(xùn)練。它不需要假設(shè)數(shù)據(jù)特征存在兩個或多個獨立特征視圖，相比標準協(xié)同訓(xùn)練，每個分類器訓(xùn)練的標記樣本為2/3而不是1/2，對標記樣本利用更充分。實驗結(jié)果顯示，NC-T方法的分類精度對標準協(xié)同方法在

5、多數(shù)情況有所提高。
　　 （3）為了能有效降低對基分類器的要求，通過融合大量未標記樣本信息，給出了一種多類別多分類器集成半監(jiān)督分類方法SSMAB。SSMAB只需要基分類器的分類精度達到1K（K為類別數(shù)目），就能取得較滿意的效果。實驗結(jié)果表明，在分類精度上，SSMAB與同類型的方法在多數(shù)情況下占有優(yōu)勢。
　　 （4）由于非公度距離度量對數(shù)據(jù)之間距離關(guān)系的度量更加合理，給出了一種非公度的半監(jiān)督學(xué)習(xí)方法NMSNN，NMSNN定