面向高維數(shù)據(jù)的子空間聚類算法研究.pdf

1、聚類是數(shù)據(jù)挖掘的重要研究內(nèi)容,其中對大規(guī)模、高維數(shù)據(jù)庫的聚類分析是研究的熱點(diǎn)和難點(diǎn)問題.由于高維數(shù)據(jù)的稀疏性、空空間現(xiàn)象及維數(shù)災(zāi)難的影響,高維數(shù)據(jù)不可能在全維空間密集,于是傳統(tǒng)聚類方法不能獲得理想效果.針對高維數(shù)據(jù)聚類方法存在的問題,本文的主要工作如下: 分析了傳統(tǒng)聚類算法在處理大規(guī)模、高維數(shù)據(jù)集時遇到的困難和問題.比較了各種降維處理方法的優(yōu)劣,從原理上論證了子空間聚類算法處理大規(guī)模、高維數(shù)據(jù)集的優(yōu)勢. 在此基礎(chǔ)上,進(jìn)一

2、步對已有子空間聚類算法進(jìn)行分析,基于Aporiori算法思想的子空間聚類算法在應(yīng)用中存在一些問題:首先在確定簇的相關(guān)維時需要多遍掃描數(shù)據(jù)庫,降低了聚類的時間效率;其次,這些算法都只能對單一數(shù)據(jù)類型進(jìn)行處理.關(guān)聯(lián)規(guī)則挖掘中頻繁模式的發(fā)現(xiàn)與簇相關(guān)維的確定具有很大的相似性.因此本文提出了一種基于模式樹的子空間聚類算法PSC,僅需掃描數(shù)據(jù)庫一遍,大大提高了子空間聚類算法的效率.同時通過擴(kuò)展簇的定義,將對符號型和數(shù)值型數(shù)據(jù)的聚類整合到一個統(tǒng)一的框

3、架中. 目前大多數(shù)聚類算法都是用對象在屬性集上的距離來衡量對象相似度.然而距離函數(shù)并不總能有效的發(fā)現(xiàn)對象之間的聯(lián)系.事實(shí)上距離很遠(yuǎn)但屬性值具有相似變化模式的對象也可能屬于一類.基于模式相似度的聚類算法是子空間聚類算法的一種,它能有效發(fā)現(xiàn)這一類的簇.但是已有的方法在高維大規(guī)模數(shù)據(jù)庫中效率不高,并且對聚類所得的簇質(zhì)量沒有評價.為此本文提出了一個新的算法,該方法應(yīng)用新的簇質(zhì)量評價標(biāo)準(zhǔn)來挖掘最優(yōu)的簇,從而聚類的結(jié)果更加有意義,同時應(yīng)用基