基于流形的降維方法及其在計(jì)算機(jī)視覺(jué)中的應(yīng)用.pdf

1、真實(shí)世界應(yīng)用中的許多高維數(shù)據(jù)都能被建模成為位于低維的線性/非線性流形附近的數(shù)據(jù)點(diǎn)。以圖像數(shù)據(jù)集為例，數(shù)據(jù)集中的潛在變化對(duì)應(yīng)于諸如物體姿態(tài)、光照或人臉表情等等的連續(xù)物理變化。從那些流形上帶噪聲采樣得來(lái)的數(shù)據(jù)點(diǎn)中發(fā)現(xiàn)流形的結(jié)構(gòu)，是非監(jiān)督學(xué)習(xí)中非常具有挑戰(zhàn)性的問(wèn)題。近年來(lái)，人機(jī)交互方面與流形相關(guān)的方法已經(jīng)成為了日益熱點(diǎn)的研究領(lǐng)域。 真實(shí)世界的流形也與人的視覺(jué)感知密切相關(guān)。人工神經(jīng)網(wǎng)絡(luò)是對(duì)真實(shí)世界流形進(jìn)行建模和解釋的強(qiáng)有力工具。通過(guò)操縱

2、所學(xué)習(xí)到流形的低維自由參數(shù)，我們還能夠合成或者估計(jì)出我們所期望的真實(shí)世界數(shù)據(jù)。這種學(xué)習(xí)和合成的雙向(“bi-directional”)過(guò)程與典型的人類認(rèn)知行為非常近似。在人類的行為中通常都是從無(wú)組織的觀察中學(xué)習(xí)，然后使用學(xué)習(xí)到的知識(shí)去推測(cè)未知的事物。 傳統(tǒng)的降維方法如主元分析(PCA)受制于它的線性性質(zhì)。其他的方法，包括自組織圖、流形學(xué)習(xí)和核方法等，被提出來(lái)處理低維流形的非線性性質(zhì)。但是這些方法又有他們自身的局限。本文的方法從那

3、些前人的工作中受到啟發(fā)并且進(jìn)行了改進(jìn)。按照所描述的潛在低維結(jié)構(gòu)復(fù)雜程度遞增的順序，本文的主要貢獻(xiàn)如下： 1.提出了一種新的基于自相關(guān)矩陣的均值更新增量主元分析算法。這種方法在使用了在輸入數(shù)據(jù)表示上的兩個(gè)變換。更新的特征子空間進(jìn)行重新居中，而無(wú)需重新計(jì)算舊數(shù)據(jù)的自相關(guān)矩陣。舊信息所需的存儲(chǔ)空間和自相關(guān)矩陣的維數(shù)保持恒定，而不是隨著輸入數(shù)據(jù)的總數(shù)增加。在更新完成后不需要存儲(chǔ)舊的數(shù)據(jù)。與目前已有的方法比較，本文提出的方法對(duì)于視覺(jué)中，要

4、求更低計(jì)算時(shí)間的子空間學(xué)習(xí)和識(shí)別任務(wù)是一個(gè)好的選擇。 2.提出了一種新的計(jì)算高效的局部主元分析算法來(lái)結(jié)合NGAS-PCA和PCA-SOM的優(yōu)點(diǎn)。每一個(gè)局部單元都有與之對(duì)應(yīng)的平均向量和協(xié)方差矩陣。算法中使用的新的競(jìng)爭(zhēng)度量隱式地結(jié)合了重構(gòu)誤差和輸入數(shù)據(jù)到單元中心的距離。在該算法中，數(shù)據(jù)分布的學(xué)習(xí)過(guò)程中消除了額外的主元空間更新步驟。該模型適用于非線性的模式學(xué)習(xí)和回憶。在算法訓(xùn)練過(guò)程完成之后，數(shù)據(jù)分布被表示成為了一系列的局部線性單元。并

5、且在這種模式表示中不需要關(guān)于最優(yōu)主元空間的先驗(yàn)信息。 3.提出了一種新的變形模型，即泛化的拓?fù)浔３肿越M織圖(gTPSOM)，來(lái)將拓?fù)浔３值淖越M織映射機(jī)制引入神經(jīng)元競(jìng)爭(zhēng)的變形模型。這種模型是從視覺(jué)感應(yīng)自組織圖(ViSOM)中獲得啟發(fā)。在ViSOM中，數(shù)據(jù)的映射在神經(jīng)元圖上同時(shí)保持了輸入數(shù)據(jù)點(diǎn)之間的距離和整個(gè)輸入空間的拓?fù)浣Y(jié)構(gòu)。本文提出的gTPSOM模型由對(duì)局部邊界變化施加約束的自適應(yīng)力場(chǎng)來(lái)并行驅(qū)動(dòng)的。算法通過(guò)區(qū)域輔助的活動(dòng)輪廓(R

6、egionAidedActiveContour)和水平集(LevelSets)方法來(lái)實(shí)現(xiàn)。gTPSOM模型適用于精確的邊界檢測(cè)和具有較強(qiáng)邊界強(qiáng)度起伏的復(fù)雜形狀恢復(fù)。 4.提出了一種基于流形的新方法來(lái)建一個(gè)輸入空間和特征空間之間的非線性映射，從而不再孤立的考慮流形的學(xué)習(xí)和合成。這個(gè)非線性映射是由在輸入空間中建立局部生成單元模型并且在特征空間中構(gòu)建全局仿射變換來(lái)實(shí)現(xiàn)的。這種形式的方法導(dǎo)致樣本外數(shù)據(jù)點(diǎn)在輸入空間和特征空間之間來(lái)回轉(zhuǎn)換可