聚類算法及其有效性問題研究.pdf

1、聚類算法是數(shù)據(jù)挖掘中重要的研究領(lǐng)域，聚類有效性是根據(jù)聚類理論方法能判別聚類質(zhì)量高低的指標(biāo)。聚類有效性驗(yàn)證方法主要有基于內(nèi)部或外部準(zhǔn)則的統(tǒng)計(jì)假設(shè)檢驗(yàn)，聚類層次的有效性，單獨(dú)聚類的有效性，Dunn和類Dunn指標(biāo)，Davies-Bouldin和類DB指標(biāo)，Gap統(tǒng)計(jì)等。聚類算法常見的有分層聚類算法、網(wǎng)格聚類算法、基于密度聚類算法、基于劃分的聚類算法、其它聚類算法等。但這些算法常常采用歐氏距離來度量相似性的，而歐氏距離將樣品的不同屬性之間的差

2、別等同看待，易受變量之間的相關(guān)性干擾，不僅影響聚類的速度和質(zhì)量，還影響聚類有效性指標(biāo)的性能，有時(shí)不能滿足實(shí)際要求。另一方面，對(duì)兩點(diǎn)之間進(jìn)行距離度量的馬氏距離具有很多優(yōu)點(diǎn)，如它不受量綱的影響，兩點(diǎn)之間的馬氏距離與原始數(shù)據(jù)的測(cè)量單位無關(guān)，由標(biāo)準(zhǔn)化數(shù)據(jù)和中心化數(shù)據(jù)計(jì)算出的二點(diǎn)之間的馬氏距離相同，馬氏距離還可以排除變量之間的相關(guān)性的干擾。本文探討了分層聚類算法和歐氏距離的局限性.充分考慮數(shù)據(jù)的幾何結(jié)構(gòu)特征和個(gè)體屬性，結(jié)合馬氏距離提出了一種新的屬