高維數(shù)據(jù)的聚類分析研究及應(yīng)用.pdf

1、分類號:密級:UDC:單位代碼:10078華北水利水電大學(xué)碩士學(xué)位論文高維數(shù)據(jù)的聚類分析研究及應(yīng)用RESEARCHONCLUSTERINGMETHODSFHIGHDIMENSIONALDATATHEIRAPPLICATION研究生姓名：蘇飛指導(dǎo)教師：彭高輝專業(yè)名稱：概率論與數(shù)理統(tǒng)計(jì)所在學(xué)院：數(shù)學(xué)與統(tǒng)計(jì)學(xué)院2017年5月摘要I高維數(shù)據(jù)的聚類分析研究及應(yīng)用摘要聚類分析是數(shù)據(jù)挖掘的重要組成部分，旨在將混雜在一起的數(shù)據(jù)對象根據(jù)對象間的相似性劃分

2、成若干類簇。同一類簇中的數(shù)據(jù)對象相似性較高，不同類簇中的數(shù)據(jù)對象差異較大。隨著高維數(shù)據(jù)的普遍存在，且由于高維數(shù)據(jù)的稀疏性和維災(zāi)難效應(yīng)的影響，導(dǎo)致傳統(tǒng)的聚類算法的有效性大大降低甚至失效。因此，關(guān)于高維數(shù)據(jù)下的聚類分析成為研究的熱點(diǎn)和難點(diǎn)問題?；诮稻S技術(shù)的高維聚類方法是解決高維數(shù)據(jù)聚類分析問題的有效途徑，本文首先對經(jīng)典Kmeans算法進(jìn)行優(yōu)化，然后對降維后的數(shù)據(jù)集進(jìn)行聚類分析。針對經(jīng)典Kmeans算法由于初始聚類中心的隨機(jī)選擇導(dǎo)致迭代次數(shù)

3、過多和聚類結(jié)果波動的問題，利用DPC算法的密度峰值搜索過程，提出一種基于局部密度優(yōu)化初始聚類中心的DPKmeans算法。通過計(jì)算每個數(shù)據(jù)點(diǎn)的局部密度i?值和到具有更高局部密度點(diǎn)的距離i?值，選取這兩個值都較大的點(diǎn)作為初始聚類中心，從而得到合適的聚類個數(shù)K，而具有較大i?值和較小i?值的作為離群點(diǎn)，然后利用Kmeans算法得到最后的聚類簇。對于高維數(shù)據(jù)聚類問題，第一階段用PCA、MDS、ISOMAP、LLE降維方法對高維數(shù)據(jù)集降維處理，通

4、過評價聚類算法的性能對降維后的特征子集進(jìn)行評價；第二階段利用DPKmeans算法進(jìn)行聚類分析。通過在UCI數(shù)據(jù)集和運(yùn)動分割數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，比較聚類質(zhì)量和迭代次數(shù)等有效性評價指標(biāo)，結(jié)果表明，DPKmeans算法在降維后的高維數(shù)據(jù)集上具有相對較高的準(zhǔn)確率和穩(wěn)定性。綜上，本文從數(shù)據(jù)挖掘的概念入手，重點(diǎn)研究高維數(shù)據(jù)聚類分析的問題，借助PCA、MDS、ISOMAP、LLE降維技術(shù)，將DPKmeans算法應(yīng)用于UCI和運(yùn)動分割數(shù)據(jù)集的聚類問題，取