高維分類(lèi)屬性的子空間聚類(lèi)算法研究.pdf

1、聚類(lèi)分析是數(shù)據(jù)挖掘的重要研究?jī)?nèi)容，也是數(shù)據(jù)挖掘研究領(lǐng)域中的一個(gè)難點(diǎn)。其中對(duì)高維數(shù)據(jù)空間的分析更是研究的熱點(diǎn)。由于“維噩夢(mèng)”現(xiàn)象的存在，高維數(shù)據(jù)不可能在全維空間密集，并且兩個(gè)數(shù)據(jù)點(diǎn)間的距離變得幾乎等同，因此很難再通過(guò)距離來(lái)區(qū)別數(shù)據(jù)點(diǎn)是否相似，從而絕大多數(shù)傳統(tǒng)聚類(lèi)算法在處理高維數(shù)據(jù)空間時(shí)都無(wú)法得到理想的效果。目前，子空間聚類(lèi)是高維大規(guī)模數(shù)據(jù)聚類(lèi)的主要解決方法。 在高維數(shù)據(jù)研究領(lǐng)域中，分類(lèi)數(shù)據(jù)的處理一直是研究者所面臨的巨大挑戰(zhàn)。傳統(tǒng)子

2、空間聚類(lèi)算法主要針對(duì)連續(xù)性數(shù)據(jù)的聚類(lèi)，難以處理高維分類(lèi)屬性數(shù)據(jù)集。通過(guò)對(duì)常用子空間聚類(lèi)算法分析發(fā)現(xiàn)，在確定簇的子空間時(shí)都需要多次掃描數(shù)據(jù)庫(kù)，導(dǎo)致了算法的時(shí)間效率不高。我們發(fā)現(xiàn)子空間的確定與關(guān)聯(lián)規(guī)則中頻繁模式的挖掘具有相似性，利用頻繁模式增長(zhǎng)方法FP-Growth(Frequent Pattern-Growth)只需掃描兩遍數(shù)據(jù)庫(kù)就可以得到所有信息，從而找到所有頻繁模式。 本文提出了一種處理高維分類(lèi)數(shù)據(jù)集的子空間聚類(lèi)算法(FPSU

3、B)。該算法首先將分類(lèi)數(shù)據(jù)集轉(zhuǎn)化為事務(wù)數(shù)據(jù)集，將子空間聚類(lèi)問(wèn)題轉(zhuǎn)化為尋找最大頻繁項(xiàng)集問(wèn)題。FPSUB利用壓縮了所有關(guān)聯(lián)信息的FP-Tree(Frequent Pattern-Tree)結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù)集信息，高效的挖掘出所有屬性值的頻繁模式，即子空間，然后利用這些子空間進(jìn)行對(duì)象聚類(lèi)，還可以根據(jù)用戶(hù)需求對(duì)聚類(lèi)結(jié)果進(jìn)行處理，而無(wú)需給定初始簇的數(shù)目。 本文將該算法同其他算法在真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)比較，由實(shí)驗(yàn)結(jié)果可以看出FPSUB算法比