穩(wěn)定的特征選擇算法研究.pdf

1、高維數(shù)據(jù)正越來(lái)越多地充斥于數(shù)據(jù)挖掘領(lǐng)域，解決高維數(shù)據(jù)學(xué)習(xí)問(wèn)題的傳統(tǒng)方法是應(yīng)用特征選擇方法，盡可能地選擇一個(gè)最小的特征子集（特征模型）來(lái)精確地描述學(xué)習(xí)數(shù)據(jù)。然而現(xiàn)存的多數(shù)特征選擇算法存在一個(gè)共同的問(wèn)題：即如果訓(xùn)練集發(fā)生輕微的變化，則經(jīng)過(guò)特征選擇產(chǎn)生的特征子集不穩(wěn)定（或魯棒）。當(dāng)特征選擇應(yīng)用于知識(shí)發(fā)現(xiàn)時(shí)，算法的穩(wěn)定性是一個(gè)不容忽視的問(wèn)題。因此，本文的核心是穩(wěn)定的特征選擇算法的研究。
　　首先在有監(jiān)督的特征選擇領(lǐng)域，為了提高算法的穩(wěn)定性

2、，基于L2正則化項(xiàng)和邏輯損失函數(shù)，本文提出了一種新的集成特征選擇方法，即特征加權(quán)算法，并采用兩種線(xiàn)性集成的方式WEn和REn。此外，本文還給出了對(duì)所提集成特征加權(quán)算法的旋轉(zhuǎn)不變性和統(tǒng)一穩(wěn)定性的理論分析。在真實(shí)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提算法具有良好的穩(wěn)定性和分類(lèi)性能，并且在穩(wěn)定性與分類(lèi)準(zhǔn)確率折中方面，本文所提的算法（REn和WEn）中至少有一個(gè)算法有高于或者相似于其他算法的性能。
　　在無(wú)監(jiān)督特征選擇領(lǐng)域，本文提出了一種過(guò)濾冗余特征