基于維數(shù)約簡的無監(jiān)督聚類算法研究.pdf

1、近年來，隨著數(shù)據(jù)獲取能力的不斷提高和計(jì)算機(jī)的飛速發(fā)展，人們獲得的數(shù)據(jù)信息越來越多，數(shù)據(jù)維數(shù)越來越高，如何尋找這些海量高維數(shù)據(jù)信息中潛在的規(guī)律，更好地為人類服務(wù)，是目前機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)之一.在沒有標(biāo)簽信息的情況下，對高維數(shù)據(jù)實(shí)施維數(shù)約簡的同時(shí)進(jìn)行歸類分析，挖掘數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，是當(dāng)前機(jī)器學(xué)習(xí)的一個(gè)難點(diǎn)、也是熱點(diǎn)之一.
　　本文主要研究了在沒有標(biāo)簽信息的情況下，以矩陣分解為基礎(chǔ)，對原始高維數(shù)據(jù)樣本維數(shù)約簡的同時(shí)進(jìn)行聚類分析，從而揭示數(shù)

2、據(jù)樣本的內(nèi)在本質(zhì)結(jié)構(gòu).具體而言，本文的主要研究工作和創(chuàng)新性內(nèi)容如下：
　　1.針對現(xiàn)有基于回歸的特征選擇算法，通常選用0-1偽標(biāo)簽矩陣作為目標(biāo)矩陣，使得模型成為一個(gè)NP-難問題，提出一種基于矩陣分解的魯棒特征選擇算法(RUFSM).RUFSM首先將目標(biāo)矩陣分解為兩個(gè)矩陣(正交聚類中心矩陣和低維稀疏表示矩陣)的乘積，不僅使得模型易于迭代求解，而且特征選擇矩陣(投影矩陣)能更好地選擇具有類別辨別性的特征；其次，聚類中心的正交性約束和低

3、維表示的稀疏性約束不僅保證異類投影樣本相互遠(yuǎn)離，同時(shí)使得同類之間相互靠近；最后，l2,1范數(shù)作為誤差度量能有效消除噪聲樣本和離群樣本對數(shù)據(jù)樣本本質(zhì)屬性特征的影響，同時(shí)進(jìn)行的魯棒特征選擇和魯棒聚類能保證算法得到總體最優(yōu)解.大量實(shí)驗(yàn)結(jié)果表明提出的RUFSM算法無論在魯棒性上還是聚類性能上都超過了相關(guān)魯棒特征選擇算法.
　　2.針對低秩表示目標(biāo)函數(shù)中核范數(shù)的不可微問題，提出一種非負(fù)的圖正則化低秩因子分解算法(GLCF).GLCF算法首先

4、利用矩陣?yán)碚?，將保持全局結(jié)構(gòu)的低秩約束巧妙地轉(zhuǎn)化為兩因子Frobenius范數(shù)之和的最小化問題，考慮到非負(fù)約束在聚類分析中的語義相關(guān)性，對因子分解矩陣進(jìn)行非負(fù)約束，同時(shí)利用流形正則化項(xiàng)使得低維表示保持了原始樣本的局部幾何結(jié)構(gòu)；其次，給出一種優(yōu)化目標(biāo)函數(shù)的多步更新規(guī)則，并從理論上證明了該算法的收斂性；最后，分析了提出的多步更新規(guī)則與梯度下降算法的相互關(guān)系，且針對負(fù)值數(shù)據(jù)樣本給出一種多步更新規(guī)則.與相關(guān)基于非負(fù)約束的矩陣分解算法相比，實(shí)驗(yàn)結(jié)

5、果表明了提出的GLCF算法具有更好的聚類性能.
　　3.針對現(xiàn)有的基于低秩表示的子空間聚類算法通常直接選用含有噪聲的原始數(shù)據(jù)樣本作為字典求取原始樣本的低秩表示，且構(gòu)建親和矩陣和聚類分兩步獨(dú)立進(jìn)行的缺點(diǎn)，提出了一種圖正則化緊湊低秩表示算法(GCLRR).首先，GCLRR算法為了消除噪聲樣本作為字典對低秩表示的影響，用原始數(shù)據(jù)的線性組合作為字典，不僅使得字典在算法優(yōu)化過程中通過學(xué)習(xí)得到，而且使得低維表示隨著字典優(yōu)化更新；其次，正交的線