高維數(shù)據(jù)下的特征選擇與聚類方法研究.pdf

1、在信息技術(shù)日新月異的今天，數(shù)據(jù)量呈幾何式增長，數(shù)據(jù)的維數(shù)越來越高，使得信息更為充分的同時，也給數(shù)據(jù)挖掘算法帶來了諸多挑戰(zhàn)，尤其是對分類和聚類問題的影響較為突出。數(shù)據(jù)的高維性不僅增加了算法的時間復(fù)雜度和空間復(fù)雜度，還降低了算法的求解精度，給最終的分析決策帶來負(fù)面影響。維度約簡作為數(shù)據(jù)挖掘領(lǐng)域的一個研究熱點，能有效解決這一問題。維度約簡的主要目的是使算法在構(gòu)造模型的過程中，只關(guān)注那些任務(wù)目標(biāo)相關(guān)的屬性特征，不考慮那些冗余或不相關(guān)的特征，從而

2、降低算法的時間和空間復(fù)雜度，提高算法運行效率。維度約簡技術(shù)針對數(shù)據(jù)的不同分布情況，采用不同的方法。當(dāng)高維數(shù)據(jù)分布于同一個低維空間時，通常采用特征選擇方法;當(dāng)高維數(shù)據(jù)分布于幾個不同低維空間時，通常選擇子空間聚類方法?，F(xiàn)有的特征選擇和子空間聚類方法都存在各自的不足:特征選擇方法選擇的特征子集對分類識別精度不夠高，子空間聚類方法的聚類精度不夠高。本文圍繞特征選擇方法和子空間聚類方法主要做了如下兩方面的工作:
　　1.當(dāng)高維數(shù)據(jù)分布于同一

3、個低維空間時，現(xiàn)有的基于信息論的特征選擇方法是通過已選特征而不是通過所有特征來評估候選特征，并沒有充分考慮特征的全局冗余性，導(dǎo)致選擇的特征子集對分類識別精度不夠高。對此，提出一種基于PageRank和遺傳算法的特征選擇方法，將每個特征視為網(wǎng)絡(luò)節(jié)點，利用互信息為節(jié)點創(chuàng)建邊，通過改進(jìn)的PageRank對網(wǎng)絡(luò)節(jié)點的全局冗余性進(jìn)行評估，依據(jù)本文評估準(zhǔn)則對節(jié)點排序，并用遺傳算法選擇最優(yōu)特征子集。在UCI基準(zhǔn)數(shù)據(jù)庫中10個數(shù)據(jù)集上進(jìn)行測試，證明提出

4、的基于PageRank和遺傳算法的特征選擇方法能選擇出更優(yōu)的特征子集。
　　2.當(dāng)高維數(shù)據(jù)分布于幾個不同低維空間時，目前性能最優(yōu)的算法是LS3C/NLS3C算法。然而，LS3C/NLS3C算法在稀疏編碼階段所獲得的系數(shù)矩陣中，有一些屬于不同子空間的數(shù)據(jù)對象之間線性表示的系數(shù)不為0（糟糕系數(shù)），導(dǎo)致由系數(shù)矩陣得到的關(guān)聯(lián)矩陣中存在部分屬于不同子空間的數(shù)據(jù)對象之間的相似度不為0（糟糕相似度），降低了LS3C/NLS3C算法的聚類精度。對

5、此，提出一種剔核潛空間稀疏子空間聚類(DLS3C/DNLS3C)方法。在求解關(guān)聯(lián)矩陣階段，對優(yōu)化函數(shù)中的系數(shù)矩陣添加一個Frobenius范數(shù)約束項，避免了在同一個線性表示中所有系數(shù)的絕對值同時趨于0，在仿射條件下，這種約束能迫使相似度大的數(shù)據(jù)對象的系數(shù)絕對值較大，而相似度小的數(shù)據(jù)對象的系數(shù)絕對值較小，再通過小系數(shù)剔除算法獲得一個更優(yōu)的系數(shù)矩陣，從而達(dá)到在譜聚類階段提高聚類精度的目的。在子空間聚類領(lǐng)域的基準(zhǔn)數(shù)據(jù)集Hopkins155進(jìn)行