基于流形學(xué)習(xí)的數(shù)據(jù)降維算法的研究.pdf

1、隨著信息時(shí)代的到來,科研工作者在研究過程中不可避免地會遇到大量的高維數(shù)據(jù),如全球氣候模型、人類基因分布、文本聚類中的詞頻等,所以經(jīng)常會面臨高維數(shù)據(jù)降維的問題。數(shù)據(jù)降維的目的是要找出隱藏在高維數(shù)據(jù)中的低維結(jié)構(gòu)。為了更精確地刻畫圖像和其他感知刺激的變化,采取數(shù)學(xué)方法是非常必要的。流形學(xué)習(xí)是近年來出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域的一種重要方法,在探索非線性數(shù)據(jù)降維方面取得了令人矚目的成果。
　　 近年來,已經(jīng)發(fā)展了許多有效的基于流形學(xué)習(xí)的非線性數(shù)據(jù)

2、降維方法。主要包括等距映射(Isomap)、局部線性嵌入(LLE)以及它的變換形式Hessian LLE、拉普拉斯特征映射(Laplacian Eigenmaps)和局部切空間排列(LTSA)等。LLE是典型的基于流形學(xué)習(xí)的非線性數(shù)據(jù)降維方法,已經(jīng)廣泛應(yīng)用于數(shù)據(jù)的降維、聚類及可視化等領(lǐng)域。對于流形上的樣本點(diǎn),LLE利用其近鄰點(diǎn)的線性組合進(jìn)行線性逼近,求得局部重建權(quán)值矩陣,然后根據(jù)重建權(quán)值矩陣構(gòu)造重建誤差并使其達(dá)到最小,從而求得樣本的低維

3、嵌入。然而,不同近鄰個(gè)數(shù)的選取會產(chǎn)生不同的重構(gòu)誤差,不同的重構(gòu)誤差勢必會嚴(yán)重地影響數(shù)據(jù)低維表示,從而使LLE算法的降維效果相對的不穩(wěn)定；此外,LLE算法假設(shè)樣本點(diǎn)在高維空間的分布是均勻的,它沒有很好的考慮數(shù)據(jù)點(diǎn)間的密度信息。值得指出的是,高維觀測空間的數(shù)據(jù)密度對其維數(shù)的確定具有很重要的影響作用,對于數(shù)據(jù)密度變化較大的流形,LLE很可能會將在高維空間中相隔較遠(yuǎn)的點(diǎn)映射到低維空間中相鄰近的位置,從而導(dǎo)致嵌入結(jié)果有著比較明顯的扭曲。這些都是L

4、LE算法面臨的問題。
　　 本文從高維數(shù)據(jù)的結(jié)構(gòu)特性出發(fā),全面地分析和總結(jié)了現(xiàn)有的數(shù)據(jù)降維方法,著重研究了LLE算法并對其進(jìn)行了修正改進(jìn)。具體來講,本文的主要工作包括:
　　 (1)全面總結(jié)了現(xiàn)有的數(shù)據(jù)降維方法,對具有代表性的方法進(jìn)行了系統(tǒng)分類和詳細(xì)的闡述,并從算法的時(shí)間復(fù)雜度和優(yōu)缺點(diǎn)兩方面對這些算法進(jìn)行了深入的分析和比較。
　　 (2)在LLE算法中,不同近鄰個(gè)數(shù)的選取會產(chǎn)生不同的重構(gòu)誤差,從而產(chǎn)生不同的降維效