線性圖嵌入算法及其應用.pdf

1、本文主要研究基于圖嵌入理論的線性圖嵌入算法，圖和流形都可以嵌入到歐氏空間，目前許多流形學習算法及經典的維數(shù)縮減、特征提取算法可以使用圖的方法表示，從而可以通過圖矩陣的譜特征來近似描述流形的內在主要結構，利用特征向量來表示全局低維坐標。與其它研究方法相比，一個顯著的優(yōu)點是基于圖嵌入框架的流形學習方法能夠發(fā)現(xiàn)全局最優(yōu)解的凸優(yōu)化問題，不會陷入局部極值。通過數(shù)據(jù)點之間的流形距離度量構建本征圖與懲罰圖來表征局部近鄰結構與全局結構信息，然后通過解決

2、圖嵌入框架下的優(yōu)化問題來得到低維嵌入坐標?？梢杂行У匕l(fā)現(xiàn)嵌入高維數(shù)據(jù)中有意義的低維子流形，揭示隱藏在高維觀測數(shù)據(jù)中的內在幾何結構與規(guī)律性。
　　圖嵌入通過本征圖和懲罰圖來描述樣本點之間的相互關系，并把目前常用的降維算法，如PCA，L，DA，ISOMAP，LLE，LE等均統(tǒng)一到了圖嵌入的框架下，并在該框架中進行擴展，使其能夠線性化、核化及張量化。在圖嵌入框架下對流形學習算法進行研究，通過數(shù)據(jù)點之間的流形距離度量構建本征圖與懲罰圖來表

3、征局部近鄰結構與全局結構信息，然后通過解決圖嵌入框架下的優(yōu)化問題來得到低維嵌入坐標?？梢杂行У匕l(fā)現(xiàn)嵌入高維數(shù)據(jù)中有意義的低維子流形，揭示隱藏在高維觀測數(shù)據(jù)中的內在幾何結構與規(guī)律性。
　　本文進行針對圖嵌入算法的線性擴展進行了如下幾個方面的研究：
　　直接圖嵌入算法：在高維小樣本問題應用中，傳統(tǒng)的線性圖嵌入算法往往包含PCA預處理步驟來避免矩陣奇異問題，在PCA預處理中往往會丟掉一些較小特征值對應的特征向量，從而可能丟掉了一些

4、可分性信息，同時也沒有很好地抑制噪聲和有限樣本造成的影響。我們提出直接圖嵌入算法可以直接從數(shù)據(jù)集中提取特征而無需PCA預處理，在多個數(shù)據(jù)庫的仿真結果表明，直接圖嵌入算法的可分性更好，魯棒性更強。
　　基于局部特征分析的直接線性圖嵌入算法：一般來說，圖像的局部結構特征往往反映了圖像的一些重要內在特征，具備較強的細節(jié)刻畫能力，包含重要的鑒別信息。為了能夠更有效地利用數(shù)據(jù)集的局部結構信息，我們提出利用LFA特征，結合直接線性圖嵌入算法，

5、是一種有效地適用于圖像識別的特征提取算法。
　　正交化直接線性圖嵌入：線性圖嵌入算法得到的變換矩陣往往是非正交的，非正交性使算法不能保持高維數(shù)據(jù)空間中的測度結構，且不能準確地估計高維數(shù)據(jù)的內蘊維數(shù)，對數(shù)據(jù)的重建不利，極大地影響了算法的性能，為此本文我們提出了基于最小二乘準則的正交化直接線性圖嵌入算法。
　　正則化直接圖嵌入算法：我們在直接線性圖嵌入算法的基礎上，提出了正則化的直接線性圖嵌入算法，在不增加算法計算復雜度的同時，