基于低秩稀疏子空間的數(shù)據(jù)挖掘算法研究.pdf

1、高維數(shù)據(jù)不僅具有高維的屬性特征，通常還含有大量的冗余和噪聲以及離群點(diǎn)，這使得高維數(shù)據(jù)的空間結(jié)構(gòu)變得復(fù)雜，不利于數(shù)據(jù)挖掘算法使用數(shù)據(jù)中的真實(shí)關(guān)聯(lián)結(jié)構(gòu)來(lái)構(gòu)建效果更好的模型。其中，構(gòu)造系數(shù)矩陣是尋找數(shù)據(jù)中關(guān)聯(lián)結(jié)構(gòu)的重要步驟，即通過(guò)學(xué)習(xí)系數(shù)矩陣來(lái)捕捉樣本之間或?qū)傩灾g的關(guān)聯(lián)大小，然而其學(xué)習(xí)過(guò)程對(duì)噪音和離群點(diǎn)等干擾較敏感。稀疏學(xué)習(xí)可以使系數(shù)矩陣變得稀疏，即相關(guān)的樣本或?qū)傩灾g具有大系數(shù)值，不相關(guān)的樣本或?qū)傩灾g的系數(shù)值很小甚至為零，因而所獲得的稀

2、疏系數(shù)矩陣能非常有效地反映數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，從而使數(shù)據(jù)挖掘算法能有效的去除冗余和噪聲以及離群點(diǎn)的干擾，從而獲得非常好的魯棒性。此外，高維數(shù)據(jù)可通過(guò)多個(gè)低維子空間組成的集合來(lái)表示，因此，使用子空間學(xué)習(xí)將復(fù)雜的高維數(shù)據(jù)空間轉(zhuǎn)為結(jié)構(gòu)較簡(jiǎn)單的低維子空間，更有利于數(shù)據(jù)挖掘算法找到數(shù)據(jù)中隱藏的全局結(jié)構(gòu)和局部結(jié)構(gòu)，從而得到更有效的數(shù)據(jù)挖掘結(jié)果。另外，數(shù)據(jù)中含有的噪聲和離群點(diǎn)會(huì)使學(xué)習(xí)獲得的系數(shù)矩陣的秩變大，使得數(shù)據(jù)挖掘算法無(wú)法捕捉到高維數(shù)據(jù)中真實(shí)的低

3、秩結(jié)構(gòu)，所以，通過(guò)在系數(shù)矩陣的學(xué)習(xí)過(guò)程中使用低秩約束來(lái)明確地降低其秩的大小。然而，現(xiàn)有的數(shù)據(jù)挖掘算法仍然存在一些不足:第一，僅考慮到高維數(shù)據(jù)中的片面關(guān)聯(lián)結(jié)構(gòu)，例如模型僅使用全局結(jié)構(gòu)信息或局部結(jié)構(gòu)信息，少部分算法能夠通過(guò)較全面的結(jié)構(gòu)信息來(lái)構(gòu)建模型，然而卻沒有同時(shí)把稀疏學(xué)習(xí)和低秩約束以及子空間學(xué)習(xí)相結(jié)合來(lái)獲取數(shù)據(jù)中的互補(bǔ)結(jié)構(gòu)信息，以便得到更有效的數(shù)據(jù)挖掘模型;第二，將數(shù)據(jù)挖掘任務(wù)分成多個(gè)獨(dú)立進(jìn)行的步驟來(lái)完成，即使這些獨(dú)立的步驟可以在各自優(yōu)化

4、過(guò)程中得到每個(gè)步驟的最優(yōu)解，但是卻不能確保最終獲得的解是全局最優(yōu)解。
　　為此，本文主要研究稀疏學(xué)習(xí)和低秩約束以及子空間學(xué)習(xí)等技術(shù)，針對(duì)現(xiàn)有數(shù)據(jù)挖掘算法存在的一些不足，分別提出創(chuàng)新的多輸出回歸算法和子空間聚類算法來(lái)更有效的對(duì)高維數(shù)據(jù)進(jìn)行挖掘。本文的主要研究成果可以歸納如下:
　　1)提出了一種基于低秩約束和特征選擇的多輸出回歸算法(Low-rank FeatureReduction for multi-output regr

5、ession，簡(jiǎn)稱為L(zhǎng)FR)，來(lái)解決現(xiàn)有多輸出回歸分析算法沒有充分使用高維數(shù)據(jù)中固有的多種關(guān)聯(lián)關(guān)系的問題。LFR算法結(jié)合使用稀疏學(xué)習(xí)和低秩約束以及子空間學(xué)習(xí)等技術(shù)來(lái)考慮多輸出回歸高維數(shù)據(jù)集里的屬性特征與屬性特征之間的關(guān)聯(lián)關(guān)系、輸出變量與輸出變量之間的關(guān)聯(lián)關(guān)系以及訓(xùn)練樣本與訓(xùn)練樣本之間的關(guān)聯(lián)關(guān)系，提高多輸出回歸模型對(duì)多輸出變量實(shí)值預(yù)測(cè)的能力。具體而言，LFR算法創(chuàng)新的使用稀疏學(xué)習(xí)理論中的l2,1-范數(shù)正則化項(xiàng)來(lái)尋找高維數(shù)據(jù)中特征與特征之間

6、的關(guān)聯(lián)關(guān)系，并通過(guò)特征選擇來(lái)選出具有重要信息的特征與去除噪聲的干擾;此外，通過(guò)兩個(gè)帶有低秩約束的新矩陣的乘積來(lái)表示回歸系數(shù)矩陣，從而間接地對(duì)回歸系數(shù)矩陣進(jìn)行低秩約束來(lái)探尋輸出變量與輸出變量之間的關(guān)聯(lián)關(guān)系;另外，通過(guò)將l2,1-范數(shù)與損失函數(shù)項(xiàng)相結(jié)合來(lái)進(jìn)行樣本選擇，從樣本與樣本之間的關(guān)聯(lián)關(guān)系來(lái)去除離群點(diǎn)對(duì)回歸模型學(xué)習(xí)的影響。通過(guò)在大量多輸出回歸數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，結(jié)果表明本文第三章中所提出的LFR算法具有非常好的多輸出回歸預(yù)測(cè)能力。

7、>　　2)提出了一種基于低秩約束和稀疏學(xué)習(xí)的子空間聚類算法(Low-rank Sparse Subspaceclustering，簡(jiǎn)稱為L(zhǎng)SS)?，F(xiàn)有子空間聚類算法通過(guò)兩個(gè)分開獨(dú)立的步驟實(shí)現(xiàn)聚類，即首先構(gòu)造相似度矩陣和然后進(jìn)行譜聚類，不能確保最終獲得的解是最優(yōu)解，并且沒有考慮從原始數(shù)據(jù)的低維結(jié)構(gòu)中學(xué)習(xí)相似度矩陣。本文在第四章中提出LSS算法，創(chuàng)新地結(jié)合稀疏學(xué)習(xí)、低秩約束、樣本自表達(dá)和子空間學(xué)習(xí)等技術(shù)來(lái)獲得更好的高維數(shù)據(jù)聚類效果。具體而言

8、，LSS算法通過(guò)稀疏學(xué)習(xí)對(duì)系數(shù)矩陣進(jìn)行特征選擇來(lái)去除冗余特征和噪聲;并且從原始數(shù)據(jù)空間中及其低維空間中分別學(xué)習(xí)相似度矩陣，然后讓這兩個(gè)矩陣在迭代優(yōu)化過(guò)程中相互得到優(yōu)化，使相似度矩陣能更好地反映數(shù)據(jù)真實(shí)的相似度;此外，通過(guò)低秩約束來(lái)約束相似度矩陣的拉普拉斯矩陣，從而能在迭代優(yōu)化的過(guò)程中同時(shí)獲得最好的相似度矩陣和最優(yōu)的聚類結(jié)果。通過(guò)大量聚類實(shí)驗(yàn)的結(jié)果，驗(yàn)證了本文第四章中所提出的LSS算法能夠非常有效地對(duì)高維數(shù)據(jù)進(jìn)行聚類。
　　本文主要