特征選擇算法研究及穩(wěn)定性分析.pdf

1、特征選擇是一種數(shù)據(jù)降維方式。在分類算法中，數(shù)據(jù)降維的目的主要是降低時(shí)空復(fù)雜度同時(shí)盡量提高分類準(zhǔn)確率。因此一般通過比較分類準(zhǔn)確率有沒有提高，訓(xùn)練分類模型的時(shí)間有沒有降低來反映特征選擇算法的優(yōu)劣，很少考慮選擇的特征子集是否穩(wěn)定。事實(shí)上，特征選擇的穩(wěn)定性是一種比較重要的性質(zhì)。 分類算法有過擬合訓(xùn)練數(shù)據(jù)集，分類準(zhǔn)確率可信度低的問題。在高維數(shù)據(jù)集上，如果特征選擇算法結(jié)果不穩(wěn)定，則特征選擇進(jìn)行降維后再訓(xùn)練分類模型得到的分類準(zhǔn)確率就更不可信。

2、此外有些領(lǐng)域中特征選擇是為了找出關(guān)鍵特征解釋類別差異而不是訓(xùn)練分類模型。例如在生物信息學(xué)的微陣列數(shù)據(jù)分析中，特征選擇是為了尋找生物標(biāo)記基因。如果算法穩(wěn)定性很差，結(jié)果過擬合訓(xùn)練數(shù)據(jù)，就不能判斷哪些基因是關(guān)鍵基因。所以需要研究特征選擇算法的穩(wěn)定性。 本文分析了特征選擇算法及其穩(wěn)定性的研究現(xiàn)狀。DRAGS算法從穩(wěn)定性的角度考慮提出了密集特征組的概念，是比較穩(wěn)定的特征選擇算法。但DRAGS算法中存在兩個(gè)問題：（1）一個(gè)特征被允許分到多個(gè)