K-means聚類算法的改進研究.pdf

1、隨著計算機網(wǎng)絡(luò)的普及，人們的工作和生活更多的與數(shù)據(jù)信息產(chǎn)生聯(lián)系，制造和使用的數(shù)據(jù)量越來越巨大，我們進入了一個大數(shù)據(jù)時代。人們每天接觸大量的數(shù)據(jù)資源，而所需的信息只是其中極小的一部分，或者是隱藏于其中的潛在信息。如何快速高效的從海量的數(shù)據(jù)資源中獲取所需的那部分信息，如何找出數(shù)據(jù)之間的聯(lián)系和規(guī)律是我們亟需研究的課題，數(shù)據(jù)挖掘技術(shù)便是在這種需求驅(qū)動下出現(xiàn)的多學(xué)科交叉的技術(shù)。數(shù)據(jù)挖掘技術(shù)的核心功能是從大量的信息資源中發(fā)現(xiàn)隱藏的、有效的、有價值的

2、知識，從而更好的理解和應(yīng)用隱藏在數(shù)據(jù)中的有效信息，充分發(fā)揮數(shù)據(jù)的價值，為科學(xué)決策或政策的制定提供幫助。聚類分析是數(shù)據(jù)挖掘中常用的技術(shù)，在圖像分割、電子商務(wù)、市場分析、生物學(xué)、地理學(xué)以及文檔分類等眾多領(lǐng)域有著廣泛的應(yīng)用。聚類分析的基本原理是:在沒有先驗知識的情況下，將一個數(shù)據(jù)集劃分成多個簇，使得同一個簇中的數(shù)據(jù)對象的特征較相似，而不同簇間的數(shù)據(jù)對象的特征相似性小。聚類分析中有眾多的聚類算法，其中基于劃分的算法應(yīng)用最為廣泛，因為算法的思想原

3、理簡單、算法實現(xiàn)相對容易且對大規(guī)模數(shù)據(jù)集聚類收斂性好等優(yōu)點而成為應(yīng)用最為廣泛的聚類算法之一，其最具代表性的是k-means聚類算法。然而，傳統(tǒng)k-means算法也有多個明顯的缺點:如聚類需要憑借經(jīng)驗先指定一個聚類數(shù)k值，并且隨機選擇k個初始聚類中心;聚類結(jié)果對初始聚類中心和聚類數(shù)k值的依賴性強，對孤立點和噪聲點敏感。針對以上缺點，本文提出了一個改進的k-means聚類初始中心點選擇算法和一種確定聚類數(shù)k值的算法，并用實驗驗證了改進算法的

4、有效性，兩個算法的改進之處在于:
　　(1)針對k-means算法聚類結(jié)果受初始聚類中心和異常數(shù)據(jù)的制約，易出現(xiàn)聚類結(jié)果不穩(wěn)定和收斂于聚類局部最優(yōu)的問題，提出了一種選取數(shù)據(jù)集中k個處于密集區(qū)域的數(shù)據(jù)對象作為初始聚類中心的改進算法。該算法提出了一個用于表示數(shù)據(jù)集中每個數(shù)據(jù)對象密度的參數(shù)m-dist，然后根據(jù)該密度參數(shù)的值，選取k個相對分散且密度較高的數(shù)據(jù)對象作為初始聚類中心。該算法可以有效的避免選取到數(shù)據(jù)集中的孤立點和噪聲點作為初始

5、聚類中心，能有效減少聚類的迭代次數(shù)，對聚類結(jié)果的準(zhǔn)確性提高顯著。
　　(2)經(jīng)典k-means算法需要憑經(jīng)驗給定一個聚類數(shù)k值，k值的確定具有一定的主觀性，容易產(chǎn)生偏差，本文提出了一種確定聚類數(shù)的方法，首先根據(jù)樣本的密度從數(shù)據(jù)集中選擇處于高密度區(qū)域的若干數(shù)據(jù)對象產(chǎn)生一個初始聚類中心點候選集合U，然后根據(jù)提出的聚類有效性指標(biāo)AIBWP的值搜索最佳聚類數(shù)，當(dāng)AIBWP的值達到最大時，聚類有效性指標(biāo)最優(yōu)，指標(biāo)值所對應(yīng)的聚類數(shù)就是最佳聚類