模式分類中特征選擇算法研究.pdf

1、新技術(shù)的蓬勃發(fā)展使我們每天都接觸到海量的信息，如何從這些海量數(shù)據(jù)中獲取對自己有用的信息，關(guān)鍵的環(huán)節(jié)就是模式識別技術(shù)。在模式識別系統(tǒng)中，由于獲取的數(shù)據(jù)規(guī)模越來越大并且具有樣本少、維數(shù)高等特點，如何從高維度原始數(shù)據(jù)中選擇合適特征子集，避免“維數(shù)災(zāi)難”，同時不影響分類性能，使得特征選擇算法面臨更大的挑戰(zhàn)。特征選擇是模式識別系統(tǒng)中非常重要的一部分，也是設(shè)計一個性能優(yōu)良分類器的前提和必要條件。
　　本文通過研究國內(nèi)外各種特征選擇算法，在對有

2、監(jiān)督的特征選擇算法中的評價測度、搜索方向和搜索策略等深入研究的基礎(chǔ)上，提出了改進(jìn)的特征選擇算法。
　　基于主成分分析(PrincipleComponentAnalysis，PCA)的多層Filter式特征選擇算法，它將PCA特征提取運用于特征選擇之前，能有效去除特征間冗余，克服了特征選擇被用于依賴性較高的數(shù)據(jù)集時為了有效檢測到冗余的高計算量問題。之后引入信息熵的理論，研究特征的最大相關(guān)最小冗余的非線性相關(guān)性。針對Filter特征選

3、擇效率高但是不能保證獲得規(guī)模最小的特征子集的不足，本文提出分層Filter式特征選擇，減少每層計算量，逐層降低特征維數(shù)，得到維數(shù)最低冗余度小的特征子集。
　　基于信息相關(guān)性的嵌入式動態(tài)特征選擇算法是在這樣的基礎(chǔ)上:信息相關(guān)的度量方法是建立在概率論的基礎(chǔ)上的，預(yù)先要知道數(shù)據(jù)集上的概率分布情況;隨著特征選擇的不斷進(jìn)行，待選特征子集不斷縮小，已選特征子集不斷壯大，數(shù)據(jù)類別的不確定性越來越小，而信息熵計算不變，顯然信息熵中包含部分“假信息