基于流形學習的數(shù)據(jù)降維方法及其在人臉識別中的應用.pdf

1、近年來,隨著科學技術(shù)的發(fā)展,人們對于各種數(shù)據(jù)的獲取較之以往更為方便和普遍。然而,在很多實際應用問題中,我們所采集到的數(shù)據(jù)往往具有高維數(shù)、非線性等特征。這些特征一方面導致了“維數(shù)災難”現(xiàn)象的出現(xiàn),另一方面,不利于人們直接理解及發(fā)現(xiàn)數(shù)據(jù)集所蘊含的內(nèi)在規(guī)律。因此,利用降維技術(shù)對高維數(shù)據(jù)進行處理就顯得尤為重要。傳統(tǒng)的降維方法(例如主成分分析、獨立成分分析、線性判別分析等)能夠有效地處理具有線性結(jié)構(gòu)和高斯分布的數(shù)據(jù)集。但當數(shù)據(jù)集具有非線性結(jié)構(gòu)時,

2、這些方法卻難以發(fā)現(xiàn)隱藏在高維數(shù)據(jù)中的內(nèi)在低維信息?；诹餍螌W習的數(shù)據(jù)降維方法假設(shè)高維觀測數(shù)據(jù)位于嵌入到高維歐式空間的低維流形上,因此可以有效地發(fā)現(xiàn)和保持在高維空間中呈現(xiàn)高度扭曲數(shù)據(jù)集的內(nèi)在幾何結(jié)構(gòu)。目前,流形學習算法已經(jīng)成為了數(shù)據(jù)挖掘、模式識別、統(tǒng)計機器學習等相關(guān)領(lǐng)域研究的熱點。
　　 本文對基于流形學習的數(shù)據(jù)降維方法進行了深入地研究,提出了3種基于流形學習的數(shù)據(jù)降維和特征提取方法,并將其應用于具體的人臉識別問題中。通過仿真實驗

3、和與其它算法的比較,驗證了文中算法的有效性。主要工作和創(chuàng)新成果集中在以下幾個方面：
　　 1、對現(xiàn)有的線性及非線性降維算法進行總結(jié),并對流形學習的定義、研究現(xiàn)狀、應用領(lǐng)域進行介紹。通過對人臉識別技術(shù)的分析,指出了將流形學習應用于人臉識別問題的合理性和可行性。
　　 2、為了解決傳統(tǒng)主成分分析(PCA)算法無法應用于非線性結(jié)構(gòu)數(shù)據(jù)的缺點,提出了一種基于局部PCA和低維坐標排列的流形學習算法。在本方法中,首先利用測地線距離的

4、約束和最小集覆蓋方法將數(shù)據(jù)所在的整體非線性流形劃分成若干個互相重疊的最大線性貼片(Maximum Linear Patch,MLP)。由于得到的每個最大線性貼片所包含的數(shù)據(jù)具有線性結(jié)構(gòu),因此,我們可以利用傳統(tǒng)的主成分分析(PCA)方法對每個最大線性貼片中的數(shù)據(jù)進行降維,得到其局部低維坐標。最后,將坐標排列(alignment)技術(shù)和最大間隔準則(Maximum MarginCriterion)結(jié)合,對所有最大線性貼片的局部低維坐標進行排

5、列,得到整體數(shù)據(jù)集的全局降維結(jié)果。由于本方法在降維的過程中同時考慮到了數(shù)據(jù)的流形結(jié)構(gòu)和類別信息,因此,在人臉識別的實驗中取得了較好的結(jié)果。
　　 3、提出了一種自適應加權(quán)的子模式局部保持投影算法(Aw-SpLPP)。與傳統(tǒng)的局部保持投影(LPP)算法不同,Aw-SpLPP首先將輸入的高維原始數(shù)據(jù)劃分成若干個子模式,然后利用LPP算法對得到的每個子模式集合分別進行降維,得到可以保持各個子模式集合局部結(jié)構(gòu)的低維特征。此外,為了增強算

6、法的魯棒性,采用一種自適應的方法計算每個子模式對于識別的權(quán)重。通過將Aw-SpLPP算法應用于人臉識別問題,可以看出該方法不僅能夠提高傳統(tǒng)LPP的計算效率,在識別的準確率方面也要優(yōu)于其它的子模式算法。
　　 4、提出了一種結(jié)構(gòu)保持的投影算法(SPP)。在本方法中,我們同樣將原始高維數(shù)據(jù)劃分成若干個子模式。但與前面提到的Aw-SpLPP和其它基于子模式的方法不同,SPP在對每個子模式進行降維的過程中,不僅考慮到了它所在子模式集合的