模式分類中特征選擇算法研究.pdf

1、新技術(shù)的蓬勃發(fā)展使我們每天都接觸到海量的信息，如何從這些海量數(shù)據(jù)中獲取對(duì)自己有用的信息，關(guān)鍵的環(huán)節(jié)就是模式識(shí)別技術(shù)。在模式識(shí)別系統(tǒng)中，由于獲取的數(shù)據(jù)規(guī)模越來(lái)越大并且具有樣本少、維數(shù)高等特點(diǎn)，如何從高維度原始數(shù)據(jù)中選擇合適特征子集，避免“維數(shù)災(zāi)難”，同時(shí)不影響分類性能，使得特征選擇算法面臨更大的挑戰(zhàn)。特征選擇是模式識(shí)別系統(tǒng)中非常重要的一部分，也是設(shè)計(jì)一個(gè)性能優(yōu)良分類器的前提和必要條件。
　　本文通過(guò)研究國(guó)內(nèi)外各種特征選擇算法，在對(duì)有

2、監(jiān)督的特征選擇算法中的評(píng)價(jià)測(cè)度、搜索方向和搜索策略等深入研究的基礎(chǔ)上，提出了改進(jìn)的特征選擇算法。
　　基于主成分分析(PrincipleComponentAnalysis，PCA)的多層Filter式特征選擇算法，它將PCA特征提取運(yùn)用于特征選擇之前，能有效去除特征間冗余，克服了特征選擇被用于依賴性較高的數(shù)據(jù)集時(shí)為了有效檢測(cè)到冗余的高計(jì)算量問(wèn)題。之后引入信息熵的理論，研究特征的最大相關(guān)最小冗余的非線性相關(guān)性。針對(duì)Filter特征選

3、擇效率高但是不能保證獲得規(guī)模最小的特征子集的不足，本文提出分層Filter式特征選擇，減少每層計(jì)算量，逐層降低特征維數(shù)，得到維數(shù)最低冗余度小的特征子集。
　　基于信息相關(guān)性的嵌入式動(dòng)態(tài)特征選擇算法是在這樣的基礎(chǔ)上:信息相關(guān)的度量方法是建立在概率論的基礎(chǔ)上的，預(yù)先要知道數(shù)據(jù)集上的概率分布情況;隨著特征選擇的不斷進(jìn)行，待選特征子集不斷縮小，已選特征子集不斷壯大，數(shù)據(jù)類別的不確定性越來(lái)越小，而信息熵計(jì)算不變，顯然信息熵中包含部分“假信息