流形學習理論研究及相關改進.pdf

1、本文首先從流形學習的基本理論入手,給出了流形學習的定義說明,介紹了當前5種著名的流形學習算法,并給出了這些算法的理論原理和步驟,對每種算法的各自的優(yōu)勢與缺點也進行了詳細的比較說明。通過對這些算法的研究,本文創(chuàng)造性的給出了兩種改進的方法。
　　 首先,通過研究發(fā)現(xiàn),數(shù)據(jù)點的切空間在流形學習中發(fā)揮著重要的作用。在理論上,許多著名的流形學習算法(如HLLE、LTSA等)都是基于數(shù)據(jù)點的切空間,但在實踐中,這些算法都是將數(shù)據(jù)點鄰域的樣本

2、協(xié)方差矩陣的主元所張成的空間當做數(shù)據(jù)點的切空間。迄今為止,業(yè)界對于這些流形學習算法在理論和實踐之間的差異似乎并未有清楚的認識和明確的評論。
　　 本文首先通過數(shù)學推導證明,數(shù)據(jù)點鄰域的樣本協(xié)方差矩陣的主元張成的空間不是數(shù)據(jù)點本身的切空間,充其量只能算是數(shù)據(jù)點鄰域的均值點的切空間。于是本文首先提出了另一種新的數(shù)據(jù)點切空間的計算方法。通過數(shù)學推導證明,在一階泰勒展開的近似下,本文提出的計算方法所得到的空間就是數(shù)據(jù)點自身的切空間,更為

3、重要的是,本文提出的計算方法,沒有增加任何計算復雜度。
　　 其次,通過對局部線性算法(LLE)的理論研究,發(fā)現(xiàn)LLE算法在降維效果上存在很多缺陷,特別是對數(shù)據(jù)鄰域選取工作中的不足導致的對降維效果的不良影響,于是根據(jù)LLE算法的前提假設:局部鄰域點之間存在線性關系,本文創(chuàng)造性的提出一種基于局部鄰域相關系數(shù)絕對值最大選擇鄰域的算法,能有效地使局部鄰域點的選取更好地體現(xiàn)出彼此點與點之間的線性關系,從而減少因為鄰域選取工作的不當對LL