基于改進(jìn)擴(kuò)展彈性網(wǎng)絡(luò)的多類別特征選擇方法研究.pdf

1、特征選擇是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本步驟和重要任務(wù)，并被廣泛的應(yīng)用于圖像處理、文本挖掘、計(jì)算神經(jīng)學(xué)以及生物信息學(xué)等諸多領(lǐng)域。在這些實(shí)際應(yīng)用中，研究對(duì)象的觀測值（即樣本）雖然含有大量的特征，但對(duì)于某個(gè)特定的識(shí)別任務(wù)來說，這些特征并非都是相關(guān)的有效特征，也同時(shí)存在冗余的或是與任務(wù)不相關(guān)的噪聲特征。這些噪聲嚴(yán)重影響分類精度。為解決這一問題，特征選擇技術(shù)應(yīng)運(yùn)而生。特征選擇旨在從樣本的所有特征中將相關(guān)的有效特征挑選出來，同時(shí)將不相關(guān)的特征剔除。另一

2、方面，特征選擇也可以避免由于樣本的特征數(shù)過多導(dǎo)致的維數(shù)災(zāi)難，降低模式識(shí)別的時(shí)間開銷。樣本的特征維數(shù)越高，特征選擇的重要性也就越發(fā)突顯出來。為了挑選出相關(guān)的、低冗余的更好的特征子集，研究者們提出了不同的優(yōu)化方案。如最小冗余最大相關(guān)性特征選擇(mRMR)方法，全局冗余最小化(GRM)方法，不相關(guān)LASSO(ULASSO)方法，等等。在前入研究的基礎(chǔ)上，本文從一個(gè)新的角度提出了優(yōu)化的特征選擇方法，并提出了相應(yīng)的有效算法。
　　本文的主要

3、研究內(nèi)容有以下三部分:
　　(1)彈性網(wǎng)絡(luò)(EN)模型與常用的最小絕對(duì)收縮和選擇算子(LASSO)相比，在選擇相當(dāng)數(shù)量的特征的情況下，EN模型的效果要優(yōu)于LASSO。特別是在樣本所含特征數(shù)遠(yuǎn)遠(yuǎn)大于樣本數(shù)時(shí)，EN的效果比LASSO更令人滿意。出于這種考慮，本文將特征與類別之間的相關(guān)性作為約束，以權(quán)重的形式融入EN模型中，提出了基于區(qū)分性彈性網(wǎng)絡(luò)的二類別特征選擇(TFS_DEN)方法。通過對(duì)回歸系數(shù)加權(quán)的方式，在目標(biāo)函數(shù)的優(yōu)化過程中，

4、使對(duì)應(yīng)于與類別標(biāo)簽具有強(qiáng)相關(guān)性的特征的回歸系數(shù)變大，反之則被壓縮。這樣一來，回歸系數(shù)的區(qū)分性被放大，挑選出的特征與類別的相關(guān)性更強(qiáng)，同時(shí)有利于提高分類準(zhǔn)確率。在這一部分選取兩種相關(guān)性度量，并給出相應(yīng)的4種不同形式的權(quán)重。對(duì)于TFS_DEN，在這一部分還給出了有效的迭代求解算法以及與算法相對(duì)應(yīng)的收斂性證明。在多個(gè)二類數(shù)據(jù)集上的相關(guān)實(shí)驗(yàn)結(jié)果說明了TFS_DEN的性能優(yōu)于一些現(xiàn)有的特征選擇方法。美中不足的是，TFS_DEN方法僅能處理只包含兩

5、類樣本的特征選擇問題。
　　(2)本文進(jìn)一步將TFS_DEN方法擴(kuò)展到多類別的情況，使其適用于更多的實(shí)際應(yīng)用問題，形成基于區(qū)分性擴(kuò)展彈性網(wǎng)絡(luò)的多類別特征選擇(MFS_DEEN)方法。由于問題被擴(kuò)展到多類別的情況，TFS_DEN中的權(quán)重形式不再適用。因此，針對(duì)MFS_DEEN給出了不同于TFS_DEN的4種權(quán)重形式，同時(shí)提出了不同于TFS_DEN的新的有效迭代求解算法，并給出了相應(yīng)的收斂性證明。在多個(gè)多類別數(shù)據(jù)集上進(jìn)行了相關(guān)實(shí)驗(yàn)，其