流形學(xué)習(xí)的譜方法相關(guān)問題研究.pdf

1、在當(dāng)今這個信息時代，可以方便地獲得大量的數(shù)據(jù)。許多實際應(yīng)用中，獲得的數(shù)據(jù)是高維的、龐大的、繁雜的、無序的，并且還在不斷的增加，有價值的信息淹沒在大規(guī)模的海量高維數(shù)據(jù)集之中，需要發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律以及預(yù)測未來發(fā)展趨勢。流形學(xué)習(xí)就是假定這些觀測數(shù)據(jù)位于或近似位于一個嵌入在高維歐氏空間中的內(nèi)在低維流形上，主要目標(biāo)是發(fā)現(xiàn)高維觀測數(shù)據(jù)集的內(nèi)在低維流形結(jié)構(gòu)和嵌入映射關(guān)系。目前，流形學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)、模式識別、數(shù)據(jù)挖掘以及其它相關(guān)研究領(lǐng)域的研究熱

2、點。 本文通過分析流形學(xué)習(xí)的內(nèi)涵與外延，立足于解決流形學(xué)習(xí)的譜方法中的重要問題，在算法設(shè)計層面和圖像流形應(yīng)用層面上展開了一系列研究。首先對流形學(xué)習(xí)的典型譜方法做了詳細(xì)對比分析，然后針對流形的增殖學(xué)習(xí)、構(gòu)造近鄰關(guān)系的合理度量、提高內(nèi)在低維空間的可分性、基于集成的流形學(xué)習(xí)、局部保持的算法和全局保持的算法兩者優(yōu)勢融合等幾方面進(jìn)行了重點研究，提出了五個以譜方法為基礎(chǔ)的流形學(xué)習(xí)算法，并和相關(guān)研究成果做了理論上與實驗上的比較，表明了我們提出

3、算法的有效性。 本文主要創(chuàng)新成果有以下幾方面： （1）定義了增殖流形學(xué)習(xí)的概念，這有利于指導(dǎo)符合人腦增殖學(xué)習(xí)機(jī)理的流形學(xué)習(xí)算法的研究。以此為指導(dǎo)原則，提出了一種基于LLE的動態(tài)增殖流形學(xué)習(xí)算法（DKI-LLE）。實驗結(jié)果表明：DKI-LLE算法比LLE的幾個增量式算法在處理新數(shù)據(jù)集時有更好的效果；DKI-LLE算法發(fā)現(xiàn)的整體低維結(jié)構(gòu)更接近批處理的方式獲得的低維結(jié)構(gòu)，使得新到來的數(shù)據(jù)子集所包含的低維結(jié)構(gòu)知識被整合到原有的低

4、維結(jié)構(gòu)中去；而LLE的增量式算法處理新的觀測數(shù)據(jù)時更依賴于原有數(shù)據(jù)的低維坐標(biāo)。 （2）提出了一種基于測地線距離的廣義高斯型拉普拉斯特征映射算法（GGLE）。該算法將測地線距離和廣義高斯函數(shù)融合到傳統(tǒng)的拉普拉斯特征映射算法中，可以調(diào)整近鄰圖結(jié)點間的相似度，通過選擇超高斯、高斯或者次高斯函數(shù)來實現(xiàn)不同程度的近鄰局部特性的保持；而且當(dāng)需要保持更多的近鄰關(guān)系使得數(shù)據(jù)點鄰域增大時，采用測地線距離可以避免歐氏距離度量不合理的缺陷；實驗結(jié)果表

5、明在用不同的廣義高斯函數(shù)度量高維數(shù)據(jù)點間的相似度時，局部近鄰結(jié)構(gòu)保持的程度是不同的，GGLE獲得的全局低維坐標(biāo)也呈現(xiàn)出不同的聚類特性。 （3）提出了一種基于GGLE的集成判別算法（EGGLE），該算法的主要優(yōu)點是：近鄰參數(shù)k固定，鄰接矩陣和測地線距離矩陣都只構(gòu)造一次，只需要多次選擇廣義高斯型函數(shù)構(gòu)造多個拉普拉斯矩陣，獲取多個獨立的低維空間坐標(biāo)集合，獨立學(xué)習(xí)分類器，集成分類識別。時間復(fù)雜度上EGGLE算法與Ensemble-Iso

6、map和En-ULLELDA算法相比較通常更具有優(yōu)越性。在半監(jiān)督學(xué)習(xí)框架下做了LE與EGGLE算法的對比實驗，識別結(jié)果表明了EGGLE算法的有效性。另外，本文也提出了一種監(jiān)督的集成流形學(xué)習(xí)算法（EGGLE-LDA），該算法將線性監(jiān)督算法LDA和EGGLE相結(jié)合，加強(qiáng)集成流形學(xué)習(xí)在監(jiān)督學(xué)習(xí)中的判別能力，使得EGGLE-LDA算法既考慮了數(shù)據(jù)的類別信息又考慮了幾何分布特性。實驗結(jié)果表明了EGGLE-LDA算法和En-ULLELDA算法的集成

7、識別性能的差異。 （4）提出了一種全局拉普拉斯展開算法（GLU），該算法綜合了局部保持的拉普拉斯特征映射算法（LE）和全局保持的最大化方差展開算法（MVU）的優(yōu)點。主要思想是使得局部近鄰的點盡可能的接近，同時也要使得相互遠(yuǎn)離點盡可能遠(yuǎn)。實現(xiàn)方法是構(gòu)造局部盡可能近鄰和全局展開的雙目標(biāo)函數(shù)，引入低維坐標(biāo)的Gram內(nèi)積矩陣，通過半定規(guī)劃（SDP）的方法優(yōu)化雙目標(biāo)函數(shù)，從而學(xué)習(xí)這樣一個內(nèi)積矩陣，最后對這個內(nèi)積矩陣進(jìn)行特征分解求內(nèi)在低維嵌