流形學習的譜方法相關問題研究.pdf

1、在當今這個信息時代，可以方便地獲得大量的數(shù)據(jù)。許多實際應用中，獲得的數(shù)據(jù)是高維的、龐大的、繁雜的、無序的，并且還在不斷的增加，有價值的信息淹沒在大規(guī)模的海量高維數(shù)據(jù)集之中，需要發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律以及預測未來發(fā)展趨勢。流形學習就是假定這些觀測數(shù)據(jù)位于或近似位于一個嵌入在高維歐氏空間中的內(nèi)在低維流形上，主要目標是發(fā)現(xiàn)高維觀測數(shù)據(jù)集的內(nèi)在低維流形結構和嵌入映射關系。目前，流形學習已經(jīng)成為機器學習、模式識別、數(shù)據(jù)挖掘以及其它相關研究領域的研究熱

2、點。 本文通過分析流形學習的內(nèi)涵與外延，立足于解決流形學習的譜方法中的重要問題，在算法設計層面和圖像流形應用層面上展開了一系列研究。首先對流形學習的典型譜方法做了詳細對比分析，然后針對流形的增殖學習、構造近鄰關系的合理度量、提高內(nèi)在低維空間的可分性、基于集成的流形學習、局部保持的算法和全局保持的算法兩者優(yōu)勢融合等幾方面進行了重點研究，提出了五個以譜方法為基礎的流形學習算法，并和相關研究成果做了理論上與實驗上的比較，表明了我們提出

3、算法的有效性。 本文主要創(chuàng)新成果有以下幾方面： （1）定義了增殖流形學習的概念，這有利于指導符合人腦增殖學習機理的流形學習算法的研究。以此為指導原則，提出了一種基于LLE的動態(tài)增殖流形學習算法（DKI-LLE）。實驗結果表明：DKI-LLE算法比LLE的幾個增量式算法在處理新數(shù)據(jù)集時有更好的效果；DKI-LLE算法發(fā)現(xiàn)的整體低維結構更接近批處理的方式獲得的低維結構，使得新到來的數(shù)據(jù)子集所包含的低維結構知識被整合到原有的低

4、維結構中去；而LLE的增量式算法處理新的觀測數(shù)據(jù)時更依賴于原有數(shù)據(jù)的低維坐標。 （2）提出了一種基于測地線距離的廣義高斯型拉普拉斯特征映射算法（GGLE）。該算法將測地線距離和廣義高斯函數(shù)融合到傳統(tǒng)的拉普拉斯特征映射算法中，可以調(diào)整近鄰圖結點間的相似度，通過選擇超高斯、高斯或者次高斯函數(shù)來實現(xiàn)不同程度的近鄰局部特性的保持；而且當需要保持更多的近鄰關系使得數(shù)據(jù)點鄰域增大時，采用測地線距離可以避免歐氏距離度量不合理的缺陷；實驗結果表

5、明在用不同的廣義高斯函數(shù)度量高維數(shù)據(jù)點間的相似度時，局部近鄰結構保持的程度是不同的，GGLE獲得的全局低維坐標也呈現(xiàn)出不同的聚類特性。 （3）提出了一種基于GGLE的集成判別算法（EGGLE），該算法的主要優(yōu)點是：近鄰參數(shù)k固定，鄰接矩陣和測地線距離矩陣都只構造一次，只需要多次選擇廣義高斯型函數(shù)構造多個拉普拉斯矩陣，獲取多個獨立的低維空間坐標集合，獨立學習分類器，集成分類識別。時間復雜度上EGGLE算法與Ensemble-Iso

6、map和En-ULLELDA算法相比較通常更具有優(yōu)越性。在半監(jiān)督學習框架下做了LE與EGGLE算法的對比實驗，識別結果表明了EGGLE算法的有效性。另外，本文也提出了一種監(jiān)督的集成流形學習算法（EGGLE-LDA），該算法將線性監(jiān)督算法LDA和EGGLE相結合，加強集成流形學習在監(jiān)督學習中的判別能力，使得EGGLE-LDA算法既考慮了數(shù)據(jù)的類別信息又考慮了幾何分布特性。實驗結果表明了EGGLE-LDA算法和En-ULLELDA算法的集成

7、識別性能的差異。 （4）提出了一種全局拉普拉斯展開算法（GLU），該算法綜合了局部保持的拉普拉斯特征映射算法（LE）和全局保持的最大化方差展開算法（MVU）的優(yōu)點。主要思想是使得局部近鄰的點盡可能的接近，同時也要使得相互遠離點盡可能遠。實現(xiàn)方法是構造局部盡可能近鄰和全局展開的雙目標函數(shù)，引入低維坐標的Gram內(nèi)積矩陣，通過半定規(guī)劃（SDP）的方法優(yōu)化雙目標函數(shù)，從而學習這樣一個內(nèi)積矩陣，最后對這個內(nèi)積矩陣進行特征分解求內(nèi)在低維嵌