模式分類中的特征選取問題研究.pdf

1、本文在模式分類的背景下，對(duì)特征選取的一些問題進(jìn)行了深入研究，主要工作如下。 1)粗糙數(shù)據(jù)模型是Kowalczyk提出的一種廣義粗糙集模型，具有結(jié)構(gòu)簡(jiǎn)單、實(shí)用性強(qiáng)的優(yōu)點(diǎn)，但也存在建模效率低、分類精度和噪聲數(shù)據(jù)處理能力嚴(yán)重依賴于數(shù)據(jù)空間的柵格劃分的弱點(diǎn)。為此，文中引入了模糊自適應(yīng)聚類技術(shù)，將數(shù)據(jù)空間的硬劃分轉(zhuǎn)化為與模式類相適應(yīng)的模糊劃分，提出了一種基于粗糙集理論的規(guī)則模式分類器模型——模糊粗糙數(shù)據(jù)模型。該模型能夠用較少數(shù)目的模糊類反

2、映出數(shù)據(jù)集中具有超橢球、超平面或超線型的特征模式類，有效地提高了分類器模型的建模效率和數(shù)據(jù)概括能力。不同數(shù)據(jù)集的實(shí)驗(yàn)測(cè)試結(jié)果驗(yàn)證了該模型的優(yōu)良性能。 2)互信息是特征選取問題中一類非常有價(jià)值的特征評(píng)價(jià)準(zhǔn)則，但卻存在高維空間下難以計(jì)算的困難。針對(duì)這一問題，論文首先對(duì)各種特征評(píng)價(jià)準(zhǔn)則進(jìn)行了系統(tǒng)研究，在此基礎(chǔ)上，推導(dǎo)出了高維特征空間在信息均勻分布條件下，候選特征f<,i>與輸出類別C之間在給定已選特征子集S情況下的條件互信息I(C；f

3、 <,i> |S)的近似估計(jì)公式。利用該公式，可以在特征信息不嚴(yán)重背離均勻分布的情況下對(duì)特征進(jìn)行有效地評(píng)價(jià)?；谠摴烙?jì)公式，提出了一種基于已選特征子集二階互信息的特征選取Filter算法(SOMIFS)，該方法能夠自適應(yīng)地估計(jì)出候選特征與已選特征之間關(guān)于輸出類別的冗余信息，不再象Battiti的MIFS方法及Kwak和Chow的MIFS-U方法那樣，需要預(yù)先人為設(shè)定與特征冗余程度有關(guān)的參數(shù)β的數(shù)值，從而大大改進(jìn)了算法的性能。另外，針對(duì)特

4、征信息任意分布的情況，給出了一種基于互信息的構(gòu)造性特征評(píng)價(jià)準(zhǔn)則；基于該評(píng)價(jià)準(zhǔn)則，進(jìn)一步提出了特征信息任意分布條件下的構(gòu)造性特征選取方法(MICC)。 通過在不同的解析數(shù)據(jù)集和基準(zhǔn)數(shù)據(jù)集上的測(cè)試與比較，實(shí)驗(yàn)結(jié)果表明，與Battiti的MIFS及Kwak和Chow的MIFS-U等特征選取方法相比，本文所提方法SOMIFS和MICC能夠提供更加準(zhǔn)確、有效的特征評(píng)價(jià)準(zhǔn)則，具有更強(qiáng)的適應(yīng)性和更好的預(yù)測(cè)性能。 3)在輸入特征之間存在

5、復(fù)雜關(guān)聯(lián)關(guān)系的情況下，使用單一評(píng)價(jià)準(zhǔn)則的filter方法由于存在“嵌套”效應(yīng)等弱點(diǎn)，往往難以發(fā)現(xiàn)最優(yōu)特征子集。針對(duì)這一問題，文中提出了一種基于互信息、以filter為局部搜索方式、以混合遺傳算法為優(yōu)化組織形式的特征選取Wrapper方法。該方法將遺傳算法的全局搜索能力強(qiáng)、filter方法的計(jì)算速度快和wrapper方法的預(yù)測(cè)精度高等三方面的優(yōu)勢(shì)，以互信息為紐帶完美地結(jié)合在一起，該使得該方法具有很強(qiáng)的最優(yōu)特征子集搜索能力。不同類型的數(shù)據(jù)實(shí)