模式分類(lèi)中特征選擇問(wèn)題的研究.pdf

1、特征選擇在數(shù)據(jù)分析和預(yù)處理步驟中發(fā)揮著重要的作用，通過(guò)特征選擇可以刪除無(wú)關(guān)、冗余的信息，降低訓(xùn)練樣本的維數(shù)、降低算法的復(fù)雜度和噪音的干擾，提高模型的推廣能力，因而在分類(lèi)問(wèn)題中起著很重要的作用。一個(gè)特征選擇的過(guò)程在原理上可以看成是一個(gè)組合優(yōu)化過(guò)程：在原有的特征中選擇其中的一部分，使某個(gè)給定的評(píng)價(jià)函數(shù)最優(yōu)。 特征選擇框架指出一個(gè)特征選擇算法是由“特征子集生成”、“特征子集評(píng)價(jià)”、“停止條件”和“結(jié)果驗(yàn)證”四個(gè)部分組成的。 首

2、先，本文基于這個(gè)框架，總結(jié)歸納了常用特征選擇算法的搜索策略和評(píng)價(jià)準(zhǔn)則。 然后，本文研究了常用的幾種搜索算法：B&B算法、連續(xù)選擇算法、增1減r法、浮動(dòng)搜索算法。本文給出了這幾種搜索算法在同一數(shù)據(jù)集上基于類(lèi)內(nèi)類(lèi)間距離這一評(píng)價(jià)準(zhǔn)則下的實(shí)驗(yàn)結(jié)果，并進(jìn)行了比較，驗(yàn)證了理論分析。 其次，本文詳細(xì)分析了評(píng)價(jià)準(zhǔn)則中的互信息對(duì)于特征選擇的意義，以及從樣本出發(fā)來(lái)計(jì)算互信息量的方法。采用窗函數(shù)估計(jì)的非參數(shù)密度估計(jì)方法，實(shí)現(xiàn)了一種基于互信息量