分類問題中特征選擇算法的研究.pdf

1、特征選擇是數(shù)據(jù)挖掘中的一個(gè)重要研究方面，通過特征選擇可以刪除無關(guān)、冗余的信息，降低訓(xùn)練樣本的維數(shù)、降低算法的復(fù)雜度和噪音的干擾，提高模型的推廣能力，因而在分類問題中起著很重要的作用。 本文對(duì)特征選擇的研究主要建立在粗糙集理論和支持向量機(jī)的基礎(chǔ)上。粗糙集理論是一種新的處理模糊、不確定性知識(shí)的數(shù)學(xué)工具。屬性約減是粗糙集理論研究的重要內(nèi)容，也就是在保持知識(shí)庫分類能力不變的條件下，刪除其中不相關(guān)或不重要的知識(shí)，達(dá)到降低維數(shù)的目的；另外屬

2、性約減的含義較特征選擇的含義更加豐富。特征選擇效果的好壞可以通過分類精度來衡量，因而選擇一種較好的分類算法也是很重要的，本文選取支持向量機(jī)作為分類算法，原因它是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種新的機(jī)器學(xué)習(xí)算法，遵循的是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則而不是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，具有較強(qiáng)的推廣能力。 本文的主要研究成果如下： 1、給出了屬性重要性的頻率定義，在它的基礎(chǔ)上建立了一種基于廣義差異矩陣的0—1屬性約減算法，將屬性約減問題轉(zhuǎn)化為一個(gè)0—1運(yùn)

3、算問題，有效地提高了屬性約減的效率：同時(shí)對(duì)該算法能否能夠得到最小約減進(jìn)行了詳實(shí)地研究，并得到了一些重要的結(jié)論，最后將此算法推廣到不完備信息系統(tǒng)中。 2、建立了基于0—1整數(shù)規(guī)劃的屬性約減算法和基于線性規(guī)劃的屬性約減算法，將屬性約減問題轉(zhuǎn)化為一個(gè)0—1整數(shù)規(guī)劃問題和線性規(guī)劃問題；同時(shí)對(duì)最優(yōu)解與屬性約減之間的關(guān)系進(jìn)行了研究，得到了一些重要的結(jié)論。 3、給出了一種針對(duì)多類決策系統(tǒng)的屬性約減算法，將多類問題的約減轉(zhuǎn)化成兩類問題的

4、約減，有效地提高了約減的效率：同時(shí)對(duì)該算法得到的約減是否為最小約減進(jìn)行了討論，并得到了一些有關(guān)結(jié)論。 4、對(duì)基于支持向量機(jī)的特征選擇算法進(jìn)行了研究，包括構(gòu)建了一種基于I1-I2-norm支持向量機(jī)的特征選擇算法、Embedded式支持向量機(jī)特征選擇算法和Robust支持向量機(jī)特征選擇算法，這些模型的求解轉(zhuǎn)化成二階錐規(guī)劃。 5、建立了一種基于粗糙集理論數(shù)據(jù)預(yù)處理的支持向量機(jī)分類模型，首先通過粗糙集理論進(jìn)行數(shù)據(jù)預(yù)處理，再通過