基于流形學(xué)習(xí)的降維算法.pdf

1、在面對(duì)高維度數(shù)據(jù)的實(shí)際問(wèn)題中，為了解決”維度詛咒”問(wèn)題，提高數(shù)據(jù)分析精度，我們需要找到數(shù)據(jù)有效的低維表達(dá)。通過(guò)對(duì)數(shù)據(jù)幾何分布的分析，基于流行學(xué)習(xí)的降維在實(shí)際應(yīng)用中取得了成功，有效的避免了高維數(shù)據(jù)所帶來(lái)的問(wèn)題，并使得流形學(xué)習(xí)在機(jī)器學(xué)習(xí)和相關(guān)領(lǐng)域迅速發(fā)展。然而，流形算法領(lǐng)域仍然存在不少問(wèn)題等待解決。例如，大多數(shù)流形學(xué)習(xí)算法的映射和后續(xù)的學(xué)習(xí)模型沒(méi)有直接聯(lián)系，在降維中，并不知道映射會(huì)如何影響后續(xù)模型的學(xué)習(xí)效果。其次，許多線(xiàn)性流形降維算法在處理

2、非線(xiàn)性的數(shù)據(jù)時(shí)會(huì)失去效果。除了以上提到的兩點(diǎn)，在利用流形學(xué)習(xí)進(jìn)行降維的過(guò)程中，計(jì)算復(fù)雜度往往成為實(shí)際應(yīng)用的瓶頸。
　　論文圍繞基于流形學(xué)習(xí)的降維展開(kāi)，并嘗試解決以上提出的流形算法中存在的問(wèn)題。主要工作包括以下幾個(gè)方面:
　　1.提出直接提高模型學(xué)習(xí)效果的基于流形的特征選擇算法。通過(guò)結(jié)合流形學(xué)習(xí)以及最優(yōu)實(shí)驗(yàn)設(shè)計(jì)理論，我們提出的特征選擇方法能選擇出有利于提高模型學(xué)習(xí)效果的特征點(diǎn)。該算法假設(shè)數(shù)據(jù)點(diǎn)分布在潛在流形之上，考慮原始數(shù)據(jù)包

3、含的幾何分布和區(qū)分性信息，通過(guò)求解使模型預(yù)測(cè)值最大方差最小化的優(yōu)化問(wèn)題，選擇數(shù)據(jù)點(diǎn)。由于該問(wèn)題最后的求解屬于NP問(wèn)題，我們還介紹了有效的貪婪算法求解該優(yōu)化問(wèn)題。在此之前也有其他基于最優(yōu)實(shí)驗(yàn)設(shè)計(jì)和半正則化流形算法的特征選擇算法，一般是通過(guò)最小化預(yù)測(cè)模型中參數(shù)的協(xié)方差來(lái)選取特征的。和他們相比，我們的算法直接對(duì)目標(biāo)函數(shù)的預(yù)測(cè)值最大方差的上界進(jìn)行最小化，對(duì)學(xué)習(xí)效果的影響更為直接。在數(shù)據(jù)集上用該算法選擇特征之后的聚類(lèi)實(shí)驗(yàn)證明了算法的有效性。

4、>　　2.為了解決基于流形的非負(fù)矩陣分解計(jì)算復(fù)雜度過(guò)高的問(wèn)題，本文提出了新的加速算法。和原始的非負(fù)矩陣分解算法相比，保局非負(fù)矩陣分解算法(LocalityPreservingNon-negativeMatrixFactorization，LPNMF)由于利用了數(shù)據(jù)的流形幾何信息能夠更好的揭示數(shù)據(jù)主題，具有更強(qiáng)的數(shù)據(jù)表達(dá)能力。然而，LPNMF的計(jì)算復(fù)雜度為O(n3)，n為數(shù)據(jù)點(diǎn)個(gè)數(shù)，當(dāng)數(shù)據(jù)規(guī)模增加，計(jì)算時(shí)間將成倍增加。受半監(jiān)督式學(xué)習(xí)規(guī)?；?/p>

5、以及大規(guī)模譜聚的啟發(fā)，我們提出了LPNMF的加速算法。給定大小為n的數(shù)據(jù)點(diǎn)，我們選擇p(p＜＜n)個(gè)錨點(diǎn)數(shù)據(jù)，并用選擇的錨點(diǎn)數(shù)據(jù)的稀疏表達(dá)來(lái)表示原始大數(shù)據(jù)。同時(shí)，通過(guò)新的表達(dá)，在計(jì)算迭代過(guò)程中，使用Woodbury轉(zhuǎn)化公式減少矩陣計(jì)算的時(shí)間。從而有效的減少了LPNMF的整體計(jì)算時(shí)間。實(shí)驗(yàn)證明，在大型的文本數(shù)據(jù)上新的加速算法降維后和原來(lái)的聚類(lèi)效果一樣，所用計(jì)算時(shí)間比原算法快2-3倍。
　　3.對(duì)原有的線(xiàn)性流形映射算法進(jìn)行核方法化。我