基于全局統(tǒng)計(jì)與局部幾何性質(zhì)的數(shù)據(jù)降維算法研究.pdf

1、在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等領(lǐng)域的許多實(shí)際問(wèn)題中，如人臉識(shí)別，數(shù)字圖像識(shí)別和數(shù)據(jù)可視化等，都需要面臨高維數(shù)據(jù)的分析和處理。高維數(shù)據(jù)不僅會(huì)增加算法的計(jì)算負(fù)擔(dān)，而且由于包含大量的冗余信息會(huì)掩蓋數(shù)據(jù)的內(nèi)在真實(shí)結(jié)構(gòu)，給學(xué)習(xí)和分析任務(wù)帶來(lái)很大的困難。數(shù)據(jù)降維技術(shù)是解決這一問(wèn)題的有效手段，它不僅可以挖掘出數(shù)據(jù)的本質(zhì)結(jié)構(gòu)，而且能夠以較少的計(jì)算代價(jià)幫助完成既定的學(xué)習(xí)任務(wù)。因此，針對(duì)數(shù)據(jù)降維技術(shù)的研究一直以來(lái)都是相關(guān)領(lǐng)域研究的重點(diǎn)課題。 本論文重點(diǎn)研究

2、針對(duì)高維數(shù)據(jù)的降維理論與方法以及在人臉識(shí)別領(lǐng)域中的具體應(yīng)用。論文的主要研究?jī)?nèi)容和創(chuàng)新成果如下： 1.從基于全局統(tǒng)計(jì)和基于局部幾何性質(zhì)的角度總結(jié)了已有數(shù)據(jù)降維算法的各自特點(diǎn)和優(yōu)勢(shì)，分析了各種算法的本質(zhì)和內(nèi)在聯(lián)系。 2.經(jīng)典的PCA和KPCA算法都是在最小平方意義下進(jìn)行建模的，其求解缺乏足夠的穩(wěn)健性。數(shù)據(jù)中即使摻雜了少量的離群樣本也會(huì)使得它們求解的主分量方向產(chǎn)生很大偏倚。本文針對(duì)這一問(wèn)題提出了一種穩(wěn)健的非線性降維算法IRob

3、ust KPCA。該算法通過(guò)隱式的方式辨別并抑制數(shù)據(jù)中的離群樣本，能夠?qū)W習(xí)出準(zhǔn)確的非線性子空間。由于采用了迭代的方式更新計(jì)算，算法還具有潛在的增量學(xué)習(xí)的優(yōu)勢(shì)。與標(biāo)準(zhǔn)KPCA算法的對(duì)比實(shí)驗(yàn)結(jié)果表明了該算法的有效性和穩(wěn)健性。 3.基于局部保持的思想，提出了一種針對(duì)高維數(shù)據(jù)的流形學(xué)習(xí)和模式分類(lèi)的監(jiān)督降維算法SMDA。經(jīng)典的LDA算法僅考慮了樣本的全局統(tǒng)計(jì)信息，不適用于非線性分布的數(shù)據(jù)。而基于局部幾何性質(zhì)的流形學(xué)習(xí)算法在解釋數(shù)據(jù)的內(nèi)在結(jié)

4、構(gòu)方面具有明顯的優(yōu)勢(shì)。因此，本文基于局部分析的思想提出了SMDA算法。該算法試圖在保持?jǐn)?shù)據(jù)局部性質(zhì)的同時(shí)最大化各類(lèi)別之間的間隔，能夠獲得良好的判別性能。并且由于采用了優(yōu)化的鄰域選擇機(jī)制，SMDA能夠避免已有方法在刻畫(huà)數(shù)據(jù)局部幾何結(jié)構(gòu)時(shí)所面臨的一些問(wèn)題。在Yale和UMIST人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明了該算法的有效性以及相對(duì)于主流的PCA、LDA、LPP和MFA算法的優(yōu)越性。 4.基于流形正則化的思想，提出了一種可用于多類(lèi)問(wèn)題半監(jiān)