基于流形學(xué)習的數(shù)據(jù)降維算法的研究.pdf

1、隨著信息時代的到來,科研工作者在研究過程中不可避免地會遇到大量的高維數(shù)據(jù),如全球氣候模型、人類基因分布、文本聚類中的詞頻等,所以經(jīng)常會面臨高維數(shù)據(jù)降維的問題。數(shù)據(jù)降維的目的是要找出隱藏在高維數(shù)據(jù)中的低維結(jié)構(gòu)。為了更精確地刻畫圖像和其他感知刺激的變化,采取數(shù)學(xué)方法是非常必要的。流形學(xué)習是近年來出現(xiàn)在機器學(xué)習領(lǐng)域的一種重要方法,在探索非線性數(shù)據(jù)降維方面取得了令人矚目的成果。
　　 近年來,已經(jīng)發(fā)展了許多有效的基于流形學(xué)習的非線性數(shù)據(jù)

2、降維方法。主要包括等距映射(Isomap)、局部線性嵌入(LLE)以及它的變換形式Hessian LLE、拉普拉斯特征映射(Laplacian Eigenmaps)和局部切空間排列(LTSA)等。LLE是典型的基于流形學(xué)習的非線性數(shù)據(jù)降維方法,已經(jīng)廣泛應(yīng)用于數(shù)據(jù)的降維、聚類及可視化等領(lǐng)域。對于流形上的樣本點,LLE利用其近鄰點的線性組合進行線性逼近,求得局部重建權(quán)值矩陣,然后根據(jù)重建權(quán)值矩陣構(gòu)造重建誤差并使其達到最小,從而求得樣本的低維

3、嵌入。然而,不同近鄰個數(shù)的選取會產(chǎn)生不同的重構(gòu)誤差,不同的重構(gòu)誤差勢必會嚴重地影響數(shù)據(jù)低維表示,從而使LLE算法的降維效果相對的不穩(wěn)定；此外,LLE算法假設(shè)樣本點在高維空間的分布是均勻的,它沒有很好的考慮數(shù)據(jù)點間的密度信息。值得指出的是,高維觀測空間的數(shù)據(jù)密度對其維數(shù)的確定具有很重要的影響作用,對于數(shù)據(jù)密度變化較大的流形,LLE很可能會將在高維空間中相隔較遠的點映射到低維空間中相鄰近的位置,從而導(dǎo)致嵌入結(jié)果有著比較明顯的扭曲。這些都是L

4、LE算法面臨的問題。
　　 本文從高維數(shù)據(jù)的結(jié)構(gòu)特性出發(fā),全面地分析和總結(jié)了現(xiàn)有的數(shù)據(jù)降維方法,著重研究了LLE算法并對其進行了修正改進。具體來講,本文的主要工作包括:
　　 (1)全面總結(jié)了現(xiàn)有的數(shù)據(jù)降維方法,對具有代表性的方法進行了系統(tǒng)分類和詳細的闡述,并從算法的時間復(fù)雜度和優(yōu)缺點兩方面對這些算法進行了深入的分析和比較。
　　 (2)在LLE算法中,不同近鄰個數(shù)的選取會產(chǎn)生不同的重構(gòu)誤差,從而產(chǎn)生不同的降維效