四種fld準則函數(shù)的最優(yōu)鑒別向量集

1、1四種四種FLD準則函數(shù)的最優(yōu)鑒別向量集準則函數(shù)的最優(yōu)鑒別向量集［摘要］［摘要］本文在最優(yōu)Fisher線性鑒別(FLD)算法的基礎(chǔ)上討論了FLD準則下的最優(yōu)正交鑒別(OD)向量集與最優(yōu)不相關(guān)鑒別(UD)向量集的性質(zhì)與求解問題，證明了類內(nèi)協(xié)方差陣的零空間中的最優(yōu)OD向量集與最優(yōu)UD向量集的等價性，給出了求取FLD準則下的最優(yōu)OD向量集與最優(yōu)UD向量集的簡潔算法和求取更多鑒別向量方法。在L人臉庫與JEFFE人臉表情庫上進行實驗，實驗結(jié)果表明

2、適當增加鑒別向量的個數(shù)有利于識別率的提高。［關(guān)鍵詞］［關(guān)鍵詞］FLD準則最優(yōu)FLD算法最優(yōu)OD向量集最優(yōu)UD向量集1引言引言Fisher線性鑒別（FLD）分析是基于FLD準則的一種傳統(tǒng)模式特征提取方法，在模式識別與計算機視覺等方面有著廣泛的應(yīng)用。FLD準則就是尋找一個或多個投影方向，對原始數(shù)據(jù)進行投影，使投影后新數(shù)據(jù)的類間離散度達到最大而類內(nèi)離散度達到最小，而投影后的新數(shù)據(jù)就是所需的模式特征。用以描述FLD準則的準則函數(shù)有很多種，其中最

3、為典型也最為常見的四種FLD準則函數(shù)為：(a)(b)1()TbTwSJS?wwwww??12()()()TTwbJWtrWSWWSW??(c)(d)??3()()TbwJWtrWSSW??4()()()TbTwtrWSWJWtrWSW?其中分別表示原始數(shù)據(jù)的類間協(xié)方差陣與類內(nèi)協(xié)方差陣。準則函數(shù)最早是由R.wbSS1()JwFisher針對兩分類問題提出的，和是它在多分類問題中的推廣，盡管它也適2()JW4()JW用于多分類問題。2006

4、年Li提出了最大間距準則(MMC)，就是MMC函數(shù)，顯然3()JW也描述了FLD準則，因此它也可看作是FLD準則函數(shù)，實際上早在1990文獻已提到3()JW過。3()JW最大化準則函數(shù)可得多個投影向量，最大化準則函數(shù)、1()Jw12kwww?2()JW或可得由多個投影向量組成的投影矩陣。投影向量3()JW4()JW12()kWwww??也稱為鑒別向量，在實際應(yīng)用中一般要求鑒別向量單位化，即()，iw1Tiiww?12ik??單位化向量集

5、合常稱為鑒別向量集[4]。12kwww?在最大化準則函數(shù)求取鑒別向量集時，通常需附加一定的條件，目前人們使用的附加條件主要有兩種：一種是附加正交條件()，相應(yīng)的向量集稱為正交鑒別T0ij?wwij?(thogonalDiscriminant，OD)向量集；另一種是附加不相關(guān)條件()，它T0itj?wSwij?可使由不同鑒別向量投影所得的模式特征具有統(tǒng)計不相關(guān)性，由此得到的鑒別向量集稱為不相關(guān)鑒別(UncrelatedDiscrimina

6、ntVects，UD)向量集，其中是樣本總tbw??SSS體協(xié)方差陣。更一般的附加條件為()(1)T0ij?wGwij?其中為正定陣。不同的可得到不同的鑒別向量集，因此每一個準則函數(shù)都可得無窮多GG種鑒別向量集?，F(xiàn)在的問題是，在這么多種鑒別向量集中，哪種鑒別向量集是最優(yōu)的？本3引理引理2設(shè)為階對稱陣，為其前個最大特征值所對應(yīng)的單位正交特征向量矩AnUk陣，則對于任意列正交矩陣，有nk?VTT()max()trtr?VUAUVAV引理引理

7、3設(shè)為階正定陣，，則()ijAa?n1()ijAa??1iiiiaa?12in??定理定理2令，，則331323()GGGGkWwww??331323()ooookWwww??3333()()GoJWJW?證明：證明：由題意，，其中是3312()()()oTobwkWSSWdiag????????12k????的前個最大特征值。于是()bwSS?k(5)33331()()()kooTobwiiJWtrWSSW??????設(shè)是相對于的所有

8、廣義特征值所對應(yīng)的單位廣義特征向31323GGGnwww?()bwSS?G量，特征值從大到小排列，記，由引理1知31323()GGGGnWwww??，()()GTGbwWSSW???331()()GTGbwWSSW???(6)其中對角陣，。需注意的是，對角元12()n??????112()k??????并非是相對于的廣義特征值。對實施QR分解，即，12n????()bwSS?GGWGWQR?其中是列正交矩陣，是上三角陣。對進行分塊，則Q

9、RR，(7)1112220RRRR???????1111111112221220RRRRRR?????????????其中為階方陣。由于都是單位向量，所以的對角11Rk31323GGGnwww?()TGTGRRWW?元全為1，從而的對角元也全為1。由引理2和引理3，可得1111TRR11333333()()()()(())()ooTooTGTGobwJWtrWSSWtrWWWW??????1133()(())()oTTotrWQRQRW

10、????1133()()oTTTotrWQRRQW????11110()()0000TTTIIItrRRtrRR??????????????????????????(8)111111111111133()0()()00TTGRRtrtrRRtrJW????????????????證畢。＃由定理2知，基于的最優(yōu)鑒別向量集就是OD向量集，它們是的前個3()JW()bwSS?k最大特征值所對應(yīng)的單位特征向量。3.4基于基于的最優(yōu)鑒別向量集的最