加權(quán)mmc函數(shù)與廣義fld準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集

1、1加權(quán)加權(quán)MMC函數(shù)與廣義函數(shù)與廣義FLD準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集1引言引言在模式識別問題中，F(xiàn)isher線性鑒別(FLD)準(zhǔn)則與最大間距準(zhǔn)則(MMC)是兩種有效的模式特征提取方法，它們都是希望尋找最佳的投影方向?qū)υ紨?shù)據(jù)進(jìn)行投影，使投影后所得數(shù)據(jù)的類間離散度達(dá)到最大而類內(nèi)離散度達(dá)到最小，投影后所得數(shù)據(jù)就是所需的模式特征。MMC最早由常用如下的加權(quán)MMC函數(shù)來表示()：0??(1)()()TMbwJWtrWSSW

2、????FLD準(zhǔn)則常用如下的廣義FLD準(zhǔn)則函數(shù)來表示：(2)()()()TbFTwtrWSWJWtrWSW?最大化函數(shù)或可得由多個投影向量組成的投影矩陣，()MJW?()FJW12()kWwww??投影向量也稱為鑒別向量，在實(shí)際應(yīng)用中一般總是將鑒別向量單位化，即(iw1Tiiww?)，單位化向量集合常稱為鑒別向量集[4]。最大化的12ik??12kwww?()MJW?方法是特征值分解或廣義特征分解，最大化的方法是迭代法。Guo、Yan和

3、Wang都()FJW曾給出最大化的迭代算法，但Wang的算法是最佳的。()FJW目前人們使用的鑒別向量集主要有兩種：一是鑒別向量之間滿足正交12kwww?性，即()，稱之為正交鑒別(OD)向量集；另一種是鑒別向量之間滿足0Tijww?ij?()，它能使投影后所得數(shù)據(jù)之間具有統(tǒng)計(jì)不相關(guān)性，因此稱之不相關(guān)鑒別0TitjwSw?ij?(UD)向量集，其中是樣本總體協(xié)方差陣。實(shí)際上，OD向量集是準(zhǔn)則函數(shù)在正tbw??SSS交條件下的最優(yōu)解，UD

4、向量集是準(zhǔn)則函數(shù)在不相關(guān)性條件下的最優(yōu)解。這說明，在最大化準(zhǔn)則函數(shù)時需附加一定的條件，更為一般的附加條件為()(3)0TijwGw?ij?其中為正定陣。顯然OD向量集與UD向量集分別是和的兩種特例。GGI?tGS?對某個準(zhǔn)則函數(shù)來說，不同的可得到不同的鑒別向量集，因此一個準(zhǔn)則函數(shù)可有無G窮多種鑒別向量集。現(xiàn)在的問題是，在這無窮多種鑒別向量集中，哪種鑒別向量集能使準(zhǔn)則函數(shù)值達(dá)到最大？能使準(zhǔn)則函數(shù)值達(dá)到最大的鑒別向量集稱為該準(zhǔn)則函數(shù)的最優(yōu)鑒

5、別向量，本文將主要討論上述兩種準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集。當(dāng)小樣本問題出現(xiàn)時，對于準(zhǔn)則函數(shù)，Yang[9]從理論上證明()TTbwJwwSwwSw?了用PCA方法將原始高維樣本降到維時不會有鑒別信息的損失（為訓(xùn)練樣本量）。1N?N不難證明，這個結(jié)論也同樣適于準(zhǔn)則函數(shù)或。實(shí)際上，由于噪聲的存在，()MJW?()FJW并非降到維最好，因此為使討論更具一般性，以下假定滿秩，1N?tS，，其中是樣本類別數(shù)。()1tNcrankSN????()1b

6、rankc??S()wrankNc??Sc由于UD向量集中鑒別向量集最多只有個，所以以下也假定。1c?1kc??2加權(quán)加權(quán)MMC函數(shù)的最優(yōu)鑒別向量集函數(shù)的最優(yōu)鑒別向量集3#10()()max()TijTGbwGMwGwtrtrWSSWJW??????????這說明準(zhǔn)則函數(shù)的OD向量集能使達(dá)到最大，因而在理論上OD向()MJW?()MJW?量集是加權(quán)MMC的最佳選擇。當(dāng)然，參數(shù)不同，所得的最優(yōu)鑒別向量集也不同。?3廣義廣義FLD準(zhǔn)則函數(shù)的

7、最優(yōu)鑒別向量集準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集Guo、Yan和Wang都曾揭示過廣義FLD準(zhǔn)則函數(shù)與加權(quán)MMC函數(shù)之()FJW()MJW?間的關(guān)系，這個關(guān)系可用下面的引理來描述：引理引理5設(shè)，，則0()argmax()TijTbTwGwwtrWSWWtrWSW??()()TbTwtrWSWtrWSW??(11)0argmax()TijTTbwwGwWtrWSWWSW????證明：證明：采用反證法。假設(shè)存在，在條件(3)下，使得W?(12)()(

8、)TTTTbwbwtrWSWWSWtrWSWWSW?????????由的含義知，式(12)的右邊等于0。于是有W(13)()()TbTwtrWSWtrWSW??????這與是()和的條件下的最大值矛盾。＃?0TijwGw?ij?1Tiiww?()FJW由于與對正交矩陣具有不變性，因此引理5是在相差一個正交矩陣的()FJW()MJW?情況下成立的。引理5說明在條件(3)下最大化可轉(zhuǎn)化為最大化，而加權(quán)系()FJW()MJW?數(shù)又取決于的最大

9、函數(shù)值，由此可得迭代算法。表1給出了求取在條件(3)下?()FJW()FJW的鑒別向量集的迭代算法，它是Wang的迭代算法在一般情況下的推廣。表1最大化的迭代算法()FJW由與的關(guān)系，不難得到()FJW()MJW?定理定理2準(zhǔn)則函數(shù)的最優(yōu)鑒別向量集是其OD向量集。()FJW因此對于廣義FLD準(zhǔn)則函數(shù)，我們只需討論OD向量集。需指出的是，當(dāng)時，的個OD向量全在的零空()1trankSN??()FJWk(1)c??wS間中，此時，計(jì)算機(jī)無法

10、操作。此時，應(yīng)用Liu的結(jié)論4，的個OD1(0)wS????()FJWk向量就是準(zhǔn)則函數(shù)()的OD向量。()()TbbJWtrWSW?1(0)wWS??4加權(quán)加權(quán)MMC函數(shù)與廣義函數(shù)與廣義FLD準(zhǔn)則函數(shù)的準(zhǔn)則函數(shù)的UD向量集向量集任取正數(shù)，令；?(0)???迭代次數(shù)12tT??1=；()tW(1)0max()TijTtbwwGwtrWSSW????2；()()()()()()()()()tTtnbtTtwtrWSWtrWSW??3若(是