基于向量場的機器學(xué)習(xí).pdf

1、在許多機器學(xué)習(xí)問題中，我們往往要面對非常高維的數(shù)據(jù)。有一個很強的直覺是這些數(shù)據(jù)可能有一個低維的內(nèi)在表示。很多研究者考慮了數(shù)據(jù)是從一個嵌入在高維歐氏空間中的低維子流形上采樣得到的情況。因此，學(xué)習(xí)一個低維子流形結(jié)構(gòu)，或者具體地說是數(shù)據(jù)流形的內(nèi)在幾何和拓撲結(jié)構(gòu)，成為了一個重要的問題。大多數(shù)目前的工作是用圖上的拉普拉斯算子來約束流形上預(yù)測函數(shù)的一階光滑性。但是，除了一階光滑性，在半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)問題中，我們應(yīng)該要求函數(shù)具有兩階光滑性。我們

2、指出函數(shù)的兩階光滑性度量了函數(shù)在流形上的線性性，而且一個流形上的線性函數(shù)的梯度場必然是一個平行向量場。為了解決表示、離散化和求解流形上的向量場等關(guān)鍵問題，這篇論文在向量場學(xué)習(xí)方面進行了系統(tǒng)的研究，包括理論分析，離散化和優(yōu)化。本文的主要創(chuàng)新點包括:
　　 1.為了分開不同的連通分支，本論文提出了一個線性流形學(xué)習(xí)方法。我們對目標函數(shù)和約束條件進行了理論分析，我們的理論分析指出流形的仿射包和連通分支對于線性流形學(xué)習(xí)是至關(guān)重要的。在某種

3、意義下，每個位于同一個仿射包的連通分支都會被最優(yōu)投影投到一起。為了恢復(fù)流形結(jié)構(gòu)，我們首先從局部等距和全局等距的討論中得到平行向量場和等距映射之間的內(nèi)在關(guān)系。我們發(fā)現(xiàn)尋找等距映射等價于尋找流形上的平行向量場。我們的理論分析表明，如果流形確實是跟歐氏空間中的一個連通子集等距的話，那么我們的方法可以準確地恢復(fù)出流形結(jié)構(gòu)。
　　 2.為了在半監(jiān)督學(xué)習(xí)中利用流形的結(jié)構(gòu)，本論文對于半監(jiān)督回歸和多任務(wù)學(xué)習(xí)問題提出了基于向量場正則化的方法。最新

4、的一些理論工作指出為了在半監(jiān)督回歸問題中達到更快的收斂速度，我們應(yīng)該要求函數(shù)具有兩階光滑性。為了達到這個目標，我們指出函數(shù)的兩階光滑度量了函數(shù)在流形上的線性性，而且一個流形上的線性函數(shù)的梯度場必然是一個平行向量場。因此，我們提出尋找一個函數(shù)使得經(jīng)驗誤差最小化，并且同時要求它的梯度場盡量的平行。我們在流形上給出一個連續(xù)的目標函數(shù)并且討論如何通過離散的點去離散化這個目標函數(shù)。最終的離散優(yōu)化問題變成了一個稀疏線性系統(tǒng)，它可以快速有效的求解。在

5、多任務(wù)學(xué)習(xí)中，我們提出了一個新的多任務(wù)向量場學(xué)習(xí)方法，它會同時去學(xué)習(xí)預(yù)測函數(shù)和向量場。多任務(wù)向量場學(xué)習(xí)具有一下主要性質(zhì):(1)我們所求得的向量場是跟預(yù)測函數(shù)的梯度場接近的。(2)在每個任務(wù)里，向量場要求為盡量平行，這樣我們期望它會張成一個低維子空間。(3)所有任務(wù)的向量場共享一個低維的子流形。我們將我們的想法化為一個正則化的框架，并且提出了一個凸松弛的方法去解決原始的非凸問題。
　　 3.為了學(xué)習(xí)流形上的測地距離函數(shù)，本論文從向

6、量場的角度提出了一個新的方法。計算測地距離最簡單的方法就是直接去計算兩點之間的最短路徑距離。但是，眾所周知，計算逐對最短路徑距離是非常耗時的，而且它不能處理非凸流形的情況[1]。在本章中，我們在固定一個點p的時候研究測地距離函數(shù)d(p，x)。只要我們對于一個固定點p可以計算距離函數(shù)，那么我們可以通過變化p來求得距離函數(shù)d(·，·)。我們給出兩個定理來精確地刻畫這樣的距離函數(shù)。我們的理論分析說明，如果一個函數(shù)rp(x)在點p的鄰域處用指數(shù)