基于SVm-RFE和粒子群算法的特征選擇算法研究.pdf

1、在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域，隨著大規(guī)模、高維數(shù)據(jù)的不斷涌現(xiàn)，特征選擇已成為模式識別技術(shù)的核心問題之一。大量無關(guān)或冗余特征的存在不僅造成了維數(shù)災(zāi)難，還直接影響了分類器性能，因此需要對數(shù)據(jù)進(jìn)行特征選擇。特征選擇是根據(jù)某種評估標(biāo)準(zhǔn)，從原始特征空間中除去不相關(guān)、冗余特征，以達(dá)到降低數(shù)據(jù)維數(shù)的目的。支持向量機(jī)(SVM)作為一種有效的識別工具，已被廣泛應(yīng)用于各領(lǐng)域，并在小樣本高維數(shù)據(jù)中有其獨(dú)特優(yōu)勢，本文將以支持向量機(jī)作為分類器用于特征選擇。
　

2、　基于不同的評價(jià)準(zhǔn)則，許多不同有效的特征選擇算法被提出，但面對錯綜復(fù)雜的數(shù)據(jù)問題，特征選擇技術(shù)還需不斷完善。本文采用了一種基于SVM-RFE和粒子群算法(PSO)的兩階段特征選擇算法，從特征選擇搜索策略來看，SVM-RFE屬于啟發(fā)式序列后向選擇算法，搜索速度快，但不能有效識別冗余特征。粒子群算法則是一種隨機(jī)搜索智能優(yōu)化算法，理論上能找到問題的最優(yōu)解，其結(jié)果具有較高的不確定性。本文將利用SVM-RFE和粒子群算法的不同優(yōu)勢進(jìn)行數(shù)據(jù)降維，首

3、先利用SVM-RFE算法對特征進(jìn)行排序，并按一定準(zhǔn)則快速去掉部分無關(guān)特征，初步降低數(shù)據(jù)維數(shù)，然后以SVM-RFE排序后的優(yōu)良子集初始化后續(xù)粒子群算法的部分種群，使其有一個好的搜索起點(diǎn)。因此，SVM-RFE算法能為后續(xù)粒子群算法提供較好的先驗(yàn)知識，減少了粒子搜索空間，并在一定程度上提高了算法選擇效率。在粒子群算法中，采用自適應(yīng)權(quán)重參數(shù)來有效避免算法過早收斂等問題。
　　最后，通過UCI數(shù)據(jù)庫的不同數(shù)據(jù)集進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明:比起單