線性圖嵌入算法及其應(yīng)用.pdf

1、本文主要研究基于圖嵌入理論的線性圖嵌入算法，圖和流形都可以嵌入到歐氏空間，目前許多流形學(xué)習(xí)算法及經(jīng)典的維數(shù)縮減、特征提取算法可以使用圖的方法表示，從而可以通過圖矩陣的譜特征來近似描述流形的內(nèi)在主要結(jié)構(gòu)，利用特征向量來表示全局低維坐標(biāo)。與其它研究方法相比，一個(gè)顯著的優(yōu)點(diǎn)是基于圖嵌入框架的流形學(xué)習(xí)方法能夠發(fā)現(xiàn)全局最優(yōu)解的凸優(yōu)化問題，不會(huì)陷入局部極值。通過數(shù)據(jù)點(diǎn)之間的流形距離度量構(gòu)建本征圖與懲罰圖來表征局部近鄰結(jié)構(gòu)與全局結(jié)構(gòu)信息，然后通過解決

2、圖嵌入框架下的優(yōu)化問題來得到低維嵌入坐標(biāo)。可以有效地發(fā)現(xiàn)嵌入高維數(shù)據(jù)中有意義的低維子流形，揭示隱藏在高維觀測(cè)數(shù)據(jù)中的內(nèi)在幾何結(jié)構(gòu)與規(guī)律性。
　　圖嵌入通過本征圖和懲罰圖來描述樣本點(diǎn)之間的相互關(guān)系，并把目前常用的降維算法，如PCA，L，DA，ISOMAP，LLE，LE等均統(tǒng)一到了圖嵌入的框架下，并在該框架中進(jìn)行擴(kuò)展，使其能夠線性化、核化及張量化。在圖嵌入框架下對(duì)流形學(xué)習(xí)算法進(jìn)行研究，通過數(shù)據(jù)點(diǎn)之間的流形距離度量構(gòu)建本征圖與懲罰圖來表

3、征局部近鄰結(jié)構(gòu)與全局結(jié)構(gòu)信息，然后通過解決圖嵌入框架下的優(yōu)化問題來得到低維嵌入坐標(biāo)?？梢杂行У匕l(fā)現(xiàn)嵌入高維數(shù)據(jù)中有意義的低維子流形，揭示隱藏在高維觀測(cè)數(shù)據(jù)中的內(nèi)在幾何結(jié)構(gòu)與規(guī)律性。
　　本文進(jìn)行針對(duì)圖嵌入算法的線性擴(kuò)展進(jìn)行了如下幾個(gè)方面的研究：
　　直接圖嵌入算法：在高維小樣本問題應(yīng)用中，傳統(tǒng)的線性圖嵌入算法往往包含PCA預(yù)處理步驟來避免矩陣奇異問題，在PCA預(yù)處理中往往會(huì)丟掉一些較小特征值對(duì)應(yīng)的特征向量，從而可能丟掉了一些

4、可分性信息，同時(shí)也沒有很好地抑制噪聲和有限樣本造成的影響。我們提出直接圖嵌入算法可以直接從數(shù)據(jù)集中提取特征而無需PCA預(yù)處理，在多個(gè)數(shù)據(jù)庫的仿真結(jié)果表明，直接圖嵌入算法的可分性更好，魯棒性更強(qiáng)。
　　基于局部特征分析的直接線性圖嵌入算法：一般來說，圖像的局部結(jié)構(gòu)特征往往反映了圖像的一些重要內(nèi)在特征，具備較強(qiáng)的細(xì)節(jié)刻畫能力，包含重要的鑒別信息。為了能夠更有效地利用數(shù)據(jù)集的局部結(jié)構(gòu)信息，我們提出利用LFA特征，結(jié)合直接線性圖嵌入算法，

5、是一種有效地適用于圖像識(shí)別的特征提取算法。
　　正交化直接線性圖嵌入：線性圖嵌入算法得到的變換矩陣往往是非正交的，非正交性使算法不能保持高維數(shù)據(jù)空間中的測(cè)度結(jié)構(gòu)，且不能準(zhǔn)確地估計(jì)高維數(shù)據(jù)的內(nèi)蘊(yùn)維數(shù)，對(duì)數(shù)據(jù)的重建不利，極大地影響了算法的性能，為此本文我們提出了基于最小二乘準(zhǔn)則的正交化直接線性圖嵌入算法。
　　正則化直接圖嵌入算法：我們?cè)谥苯泳€性圖嵌入算法的基礎(chǔ)上，提出了正則化的直接線性圖嵌入算法，在不增加算法計(jì)算復(fù)雜度的同時(shí)，