基于圖的降維技術(shù)研究及應(yīng)用.pdf

1、高維數(shù)據(jù)的涌現(xiàn)是模式識別面臨的極大挑戰(zhàn),降維技術(shù)已成為處理高維數(shù)據(jù),克服“維數(shù)災(zāi)難”的重要途徑。研究表明多數(shù)降維方法可歸結(jié)于圖的構(gòu)造及其嵌入方式。然而,現(xiàn)有許多典型的降維算法均依賴于人工預(yù)定義的近鄰圖,如局部保持投影(LPP)及其變體。雖然這類算法在很多實際問題中取得了良好性能,但存在諸如近鄰參數(shù)選擇、噪聲敏感、判別力不足、無法自然地合并領(lǐng)域先驗等一系列問題。本文圍繞圖的構(gòu)建與優(yōu)化對降維方法進(jìn)行了研究,主要貢獻(xiàn)有:
　　 (1)

2、對全局保持和局部性保持(降維)策略的重新認(rèn)識與評價。以幾種典型的局部保持降維算法為例,通過與全局降維方法的對比,獲得了一系列新的洞察(特別是,局部保持策略的不足)。進(jìn)而,從圖的構(gòu)造角度分析了其深層原因,并給出了具體的改進(jìn)策略和建議。這一方面,澄清了最近某些方法對局部和全局保持策略的誤解,為模型選擇提供了依據(jù)；另一方面,說明現(xiàn)有局部保持降維方法存在很大提升空間,成為本文研究工作的重要動機之一。
　　 (2)首次將稀疏表示引入圖的構(gòu)

3、造,設(shè)計了稀疏保持投影(SPP)算法。由于采用全局策略構(gòu)圖,SPP在一定程度上克服了局部保持降維方法中近鄰參數(shù)選擇的困難；而SPP隱含的“近鄰”通過l1優(yōu)化問題自動獲取,很好地彌補了局部構(gòu)圖方法無視數(shù)據(jù)分布,所有樣本使用同一近鄰數(shù)的缺陷。另外,受益于稀疏表示自然的判別能力,SPP在人臉識別等問題上獲得了較LPP等局部保持降維方法更優(yōu)的性能。
　　 (3)提出了稀疏保持判別分析(SPDA)算法,并將其應(yīng)用于單標(biāo)號圖像人臉識別問題。

4、SPDA不僅是SPP的半監(jiān)督推廣,而且進(jìn)一步將稀疏表示建圖思想統(tǒng)一于貝葉斯學(xué)習(xí)的框架之下,使得先驗知識能夠自然地引入圖的構(gòu)造過程。此外,通過集成策略加速稀疏建圖,設(shè)計了集成稀疏保持判別分析(enSPDA)算法。實驗表明所提算法不僅較傳統(tǒng)的半監(jiān)督判別分析方法(如SDA)有效,并且需要更少的無標(biāo)號樣本。
　　 (4)提出了軟局部保持投影(SLPP)方法。傳統(tǒng)的局部保持降維技術(shù)中,近鄰圖起著至關(guān)重要的作用,但其構(gòu)造依賴于人為定義,并獨

5、立于后續(xù)的降維過程。鑒于此,在LPP的基礎(chǔ)上,提出了SLPP算法,將圖的構(gòu)造與投影學(xué)習(xí)整合于單個目標(biāo)函數(shù),通過交替優(yōu)化,不僅使圖學(xué)習(xí)過程簡潔、高效、易于處理,并且獲得了解析的,具有原則性指導(dǎo)意義的圖更新公式。標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗表明了SLPP的有效性。
　　 (5)搭建了同時降維與圖學(xué)習(xí)的統(tǒng)一框架。受SLPP的啟發(fā),提出了一個降維與圖更新的同時學(xué)習(xí)框架,其思想可以應(yīng)用于幾乎所有基于圖的降維技術(shù)。進(jìn)一步,為驗證此框架的可行性,基于此