基于密度峰值和維度概率模型的混合屬性數(shù)據(jù)聚類研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)對現(xiàn)代社會(huì)的影響越來越深遠(yuǎn)。聚類分析作為人類認(rèn)識(shí)世界的基本能力，受到了越來越多科研工作者的重視。由于混合屬性數(shù)據(jù)的普遍存在和其統(tǒng)一距離度量的困難性，混合屬性數(shù)據(jù)聚類的研究一直是聚類分析研究中的熱點(diǎn)之一。
　　本文對混合屬性數(shù)據(jù)聚類中的相似性度量、聚簇信息表示、自適應(yīng)聚類和基于密度峰值和維度概率模型的聚類新方法進(jìn)行了深入研究分析，取得了如下研究成果:
　　(1)針對聚簇信息

2、的表示問題，創(chuàng)新性地提出了維度概率模型的概念。本文首先定義了面向數(shù)值屬性數(shù)據(jù)的維度概率分布、維度概率摘要等相關(guān)概念和點(diǎn)簇相似度、簇簇相似度的計(jì)算方法，接著提出了基于該模型的DMPCAH層次聚類算法。最后通過實(shí)驗(yàn)對比分析發(fā)現(xiàn)，該算法比傳統(tǒng)的K-Means算法和AGNES層次聚類算法在聚類精度上有了較大的提高，并可實(shí)現(xiàn)聚簇?cái)?shù)目的自動(dòng)確定和離群點(diǎn)的識(shí)別。在此研究基礎(chǔ)上，本文進(jìn)一步將維度概率模型擴(kuò)展到混合屬性數(shù)據(jù)的聚類分析中，定義了面向混合屬性

3、數(shù)據(jù)的維度概率模型的相關(guān)概念和相似度計(jì)算方法?；诖四Ｐ?，結(jié)合最新的密度峰值聚類算法，提出了面向混合屬性數(shù)據(jù)的DPKM和DPM聚類算法。實(shí)驗(yàn)分析表明，DPKM算法能夠有效進(jìn)行混合屬性數(shù)據(jù)聚類，比傳統(tǒng)的K-Prototypes算法聚類精度更高;DPM算法利用點(diǎn)簇相似性度量對DPC聚類的數(shù)據(jù)點(diǎn)進(jìn)行重新分配，能夠有效提高原DPC聚類算法的聚類效果。
　　(2)針對混合屬性數(shù)據(jù)統(tǒng)一相似性度量的問題，本文提出了一種統(tǒng)一距離度量方法（簡稱為U

4、DM距離），并將其用于生成混合屬性數(shù)據(jù)的距離矩陣;接著提出了一種用于混合屬性數(shù)據(jù)聚類的DPC M算法，通過實(shí)驗(yàn)分析表明，在UCI真實(shí)數(shù)據(jù)集中，DPC M算法的聚類準(zhǔn)確度比傳統(tǒng)的K-Prototypes算法提高了4％～13％。此外，本文還將此UDM距離度量方法與現(xiàn)有的Gower距離、K-Prototypes距離、OCIL改進(jìn)距離、Goodall距離進(jìn)行了比較研究，從實(shí)驗(yàn)結(jié)果來看，本文提出的UDM距離方法在所有實(shí)驗(yàn)數(shù)據(jù)集中表現(xiàn)最穩(wěn)定，其時(shí)間

5、復(fù)雜度也比較低，運(yùn)行時(shí)間隨著數(shù)據(jù)點(diǎn)數(shù)的增長率最慢。
　　(3)針對混合屬性數(shù)據(jù)集中統(tǒng)一相似性度量方法不夠穩(wěn)定，傳統(tǒng)算法無法自動(dòng)確定聚簇?cái)?shù)目等問題，提出了一種基于密度峰值的混合屬性數(shù)據(jù)自適應(yīng)融合聚類框架和一種基于該框架的ACEDP算法。算法首先將數(shù)據(jù)集的數(shù)值屬性子集采用可自動(dòng)確定聚簇?cái)?shù)目的聚類算法進(jìn)行聚類，其結(jié)果映射為分類屬性加入到分類屬性數(shù)據(jù)子集中;然后采用基于熵權(quán)值改進(jìn)的Goodall距離度量方法生成新分類屬性數(shù)據(jù)集的距離矩陣，