最小二乘和低秩矩陣分解的數(shù)據(jù)降維.pdf

1、在機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘等實(shí)際應(yīng)用問(wèn)題中，如人臉識(shí)別、圖像分類(lèi)等領(lǐng)域，往往要處理大量的高維數(shù)據(jù)。數(shù)據(jù)的高維特性不僅增加了學(xué)習(xí)算法的計(jì)算開(kāi)銷(xiāo)，而且也掩蓋了數(shù)據(jù)的內(nèi)在真實(shí)結(jié)構(gòu)，這使數(shù)據(jù)的分析和處理變得極為困難。降維是解決上述問(wèn)題的有力工具，降維是將數(shù)據(jù)通過(guò)一個(gè)映射從高維空間變換到低維空間中，從而發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的幾何結(jié)構(gòu)并減少既定學(xué)習(xí)任務(wù)計(jì)算開(kāi)銷(xiāo)的方法。因此，數(shù)據(jù)降維是機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一。
　　本論文圍繞數(shù)據(jù)降維方法開(kāi)展研究

2、，發(fā)展了一類(lèi)基于最小二乘和低秩矩陣分解的降維方法，主要的貢獻(xiàn)如下：
　　1.在最小二乘的框架下提出了保結(jié)構(gòu)的線性判別分析(LocLDA)用于數(shù)據(jù)降維。通過(guò)在最小二乘的線性判別分析(LDA)中引入圖Lapalacian正則項(xiàng)，使LocLDA不僅具有鑒別能力，而且還能刻畫(huà)數(shù)據(jù)的內(nèi)在流形結(jié)構(gòu)。進(jìn)一步的分析表明LocLDA的解等價(jià)于一個(gè)小規(guī)模的對(duì)稱(chēng)正定線性方程組的解，該線性方程組可以通過(guò)預(yù)條件共軛梯度法快速求解。在UCI數(shù)據(jù)集和人臉庫(kù)上的

3、分類(lèi)實(shí)驗(yàn)結(jié)果表明了LocLDA算法的有效性。
　　2.傳統(tǒng)降維方法都要求訓(xùn)練數(shù)據(jù)是干凈的，實(shí)際應(yīng)用中的數(shù)據(jù)總是存在缺失或者噪聲等問(wèn)題，傳統(tǒng)的降維方法對(duì)數(shù)據(jù)噪聲和缺失缺乏魯棒性。本文在最小二乘的框架下提出了魯棒的判別分析(RDA)。RDA利用低秩和稀疏理論恢復(fù)干凈數(shù)據(jù)，用基于L1范數(shù)度量的損失函數(shù)學(xué)習(xí)降維投影矩陣。本文提出了基于近似梯度法的增廣拉格朗日方法來(lái)求解RDA優(yōu)化問(wèn)題，并詳細(xì)分析了數(shù)值算法的收斂性。在干凈和污染數(shù)據(jù)集上的實(shí)驗(yàn)

4、結(jié)果驗(yàn)證了RDA的優(yōu)越性及魯棒性。
　　3.提出了最小二乘的多標(biāo)記線性判別分析(LSMLDA)。傳統(tǒng)最小二乘的線性判別分析僅僅適用于單標(biāo)記數(shù)據(jù)，無(wú)法直接用于高維多標(biāo)記數(shù)據(jù)的維數(shù)約簡(jiǎn)。多標(biāo)記線性判別分析(MLDA)需要求解一個(gè)維數(shù)較高的矩陣特征值問(wèn)題，計(jì)算開(kāi)銷(xiāo)非常大。本文建立了MLDA的特征值問(wèn)題與最小二乘問(wèn)題的等價(jià)關(guān)系，從而得到了最小二乘形式的MLDA(LSMLDA)。LSMLDA可以通過(guò)線性方程組的快速求解得到最優(yōu)解。此外，本文

5、通過(guò)對(duì)投影向量施加基于L2范數(shù)和L1范數(shù)的約束，用于控制LSMLDA模型的復(fù)雜度及提高模型的泛化能力。在三個(gè)標(biāo)準(zhǔn)的多標(biāo)記數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了LSMLDA及其推廣的優(yōu)越性。
　　4.提出了局部敏感的低秩矩陣分解降維模型。在該模型中，通過(guò)引入正交約束使得到的投影矩陣是半正交的，這在一定程度上減小了數(shù)據(jù)的重構(gòu)誤差。為刻畫(huà)數(shù)據(jù)空間的內(nèi)在幾何結(jié)構(gòu)，本文通過(guò)投影矩陣和數(shù)據(jù)矩陣構(gòu)造了自適應(yīng)的局部算子，該局部算子可通過(guò)學(xué)習(xí)獲得。提出了基于凱萊