基于特征分類能力互補(bǔ)性的特征選擇方法.pdf

1、特征選擇，是在利用機(jī)器學(xué)習(xí)算法構(gòu)建模型前，對(duì)原始數(shù)據(jù)的預(yù)處理過程，是機(jī)器學(xué)習(xí)領(lǐng)域受到廣泛關(guān)注的研究問題之一。對(duì)于高維數(shù)據(jù)的分析計(jì)算，一方面，很容易陷入“維度災(zāi)難”的困境；另一方面，可能并非所有維度的數(shù)據(jù)或概念都同樣包含重要的預(yù)測(cè)信息。因而，特征選擇算法作為數(shù)據(jù)的降維技術(shù)顯得尤為重要?？傮w來講，特征選擇算法中的核心問題包括計(jì)算：(1)特征子集與預(yù)測(cè)類別的相關(guān)性；(2)特征間包含分類信息的冗余性；(3)平衡(1)和(2)二者的權(quán)重比例。

2、r>　　在考慮特征與類別相關(guān)程度的評(píng)估時(shí)，往往忽略了特征對(duì)區(qū)分不同類別貢獻(xiàn)程度不均的問題，僅計(jì)算特征與整體類別的關(guān)系。本文針對(duì)該問題，提出了特征分類能力的向量化表示，并利用特征對(duì)于區(qū)分不同類別能力的差異，選擇“互補(bǔ)”特征進(jìn)入特征子集，從而優(yōu)化特征選擇過程，快速得到具有較優(yōu)分類能力的特征子集。并通過與流行的特征選擇算法進(jìn)行對(duì)比實(shí)驗(yàn)，證明了本文提出的CFSCC算法能夠在選擇較少的特征數(shù)目的情況下，仍然具有更優(yōu)的分類效果。
　　對(duì)于特征

3、子集分類能力的度量，多數(shù)算法通過特征間冗余性的計(jì)算，考慮所選子集特征之間的相互影響；而在估算特征子集與類別的相關(guān)性時(shí)，隱含地假設(shè)了特征的獨(dú)立性，忽略了特征組合對(duì)于相關(guān)性計(jì)算的影響。然而，將子集中單個(gè)特征與類別的相關(guān)度的平均值作為子集分類能力的度量，同時(shí)利用特征間相似度近似估計(jì)特征冗余量，并未充分考慮特征組合對(duì)于類別間相關(guān)性的影響以及相關(guān)性與冗余性的內(nèi)在關(guān)系。事實(shí)上，特征組合本身可能對(duì)于分類能力具有很強(qiáng)的貢獻(xiàn)力，起到提升分類效果的作用，也