基于改進(jìn)擴(kuò)展彈性網(wǎng)絡(luò)的多類(lèi)別特征選擇方法研究.pdf

1、特征選擇是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本步驟和重要任務(wù)，并被廣泛的應(yīng)用于圖像處理、文本挖掘、計(jì)算神經(jīng)學(xué)以及生物信息學(xué)等諸多領(lǐng)域。在這些實(shí)際應(yīng)用中，研究對(duì)象的觀測(cè)值（即樣本）雖然含有大量的特征，但對(duì)于某個(gè)特定的識(shí)別任務(wù)來(lái)說(shuō)，這些特征并非都是相關(guān)的有效特征，也同時(shí)存在冗余的或是與任務(wù)不相關(guān)的噪聲特征。這些噪聲嚴(yán)重影響分類(lèi)精度。為解決這一問(wèn)題，特征選擇技術(shù)應(yīng)運(yùn)而生。特征選擇旨在從樣本的所有特征中將相關(guān)的有效特征挑選出來(lái)，同時(shí)將不相關(guān)的特征剔除。另一

2、方面，特征選擇也可以避免由于樣本的特征數(shù)過(guò)多導(dǎo)致的維數(shù)災(zāi)難，降低模式識(shí)別的時(shí)間開(kāi)銷(xiāo)。樣本的特征維數(shù)越高，特征選擇的重要性也就越發(fā)突顯出來(lái)。為了挑選出相關(guān)的、低冗余的更好的特征子集，研究者們提出了不同的優(yōu)化方案。如最小冗余最大相關(guān)性特征選擇(mRMR)方法，全局冗余最小化(GRM)方法，不相關(guān)LASSO(ULASSO)方法，等等。在前入研究的基礎(chǔ)上，本文從一個(gè)新的角度提出了優(yōu)化的特征選擇方法，并提出了相應(yīng)的有效算法。
　　本文的主要

3、研究?jī)?nèi)容有以下三部分:
　　(1)彈性網(wǎng)絡(luò)(EN)模型與常用的最小絕對(duì)收縮和選擇算子(LASSO)相比，在選擇相當(dāng)數(shù)量的特征的情況下，EN模型的效果要優(yōu)于LASSO。特別是在樣本所含特征數(shù)遠(yuǎn)遠(yuǎn)大于樣本數(shù)時(shí)，EN的效果比LASSO更令人滿(mǎn)意。出于這種考慮，本文將特征與類(lèi)別之間的相關(guān)性作為約束，以權(quán)重的形式融入EN模型中，提出了基于區(qū)分性彈性網(wǎng)絡(luò)的二類(lèi)別特征選擇(TFS_DEN)方法。通過(guò)對(duì)回歸系數(shù)加權(quán)的方式，在目標(biāo)函數(shù)的優(yōu)化過(guò)程中，

4、使對(duì)應(yīng)于與類(lèi)別標(biāo)簽具有強(qiáng)相關(guān)性的特征的回歸系數(shù)變大，反之則被壓縮。這樣一來(lái)，回歸系數(shù)的區(qū)分性被放大，挑選出的特征與類(lèi)別的相關(guān)性更強(qiáng)，同時(shí)有利于提高分類(lèi)準(zhǔn)確率。在這一部分選取兩種相關(guān)性度量，并給出相應(yīng)的4種不同形式的權(quán)重。對(duì)于TFS_DEN，在這一部分還給出了有效的迭代求解算法以及與算法相對(duì)應(yīng)的收斂性證明。在多個(gè)二類(lèi)數(shù)據(jù)集上的相關(guān)實(shí)驗(yàn)結(jié)果說(shuō)明了TFS_DEN的性能優(yōu)于一些現(xiàn)有的特征選擇方法。美中不足的是，TFS_DEN方法僅能處理只包含兩

5、類(lèi)樣本的特征選擇問(wèn)題。
　　(2)本文進(jìn)一步將TFS_DEN方法擴(kuò)展到多類(lèi)別的情況，使其適用于更多的實(shí)際應(yīng)用問(wèn)題，形成基于區(qū)分性擴(kuò)展彈性網(wǎng)絡(luò)的多類(lèi)別特征選擇(MFS_DEEN)方法。由于問(wèn)題被擴(kuò)展到多類(lèi)別的情況，TFS_DEN中的權(quán)重形式不再適用。因此，針對(duì)MFS_DEEN給出了不同于TFS_DEN的4種權(quán)重形式，同時(shí)提出了不同于TFS_DEN的新的有效迭代求解算法，并給出了相應(yīng)的收斂性證明。在多個(gè)多類(lèi)別數(shù)據(jù)集上進(jìn)行了相關(guān)實(shí)驗(yàn)，其