基于Global K-means的多維數(shù)據(jù)聚類算法研究及其GPU加速.pdf

1、隨著人們生產(chǎn)生活的越來越繁雜，使得數(shù)據(jù)量高速增加，數(shù)據(jù)挖掘技術(shù)在人們的生活中起著越來越重要的作用。而聚類分析作為數(shù)據(jù)挖掘的一種重要技術(shù)，對各種數(shù)據(jù)的分析起著至關(guān)重要的作用，本文主要就多維數(shù)據(jù)的聚類算法進行了研究，提出了兩種針對多維數(shù)據(jù)的聚類算法。同時為了解決海量數(shù)據(jù)的處理時間問題，進行了相關(guān)算法的GPU加速研究。本文的主要研究工作闡述如下：
　　 針對多維數(shù)據(jù)聚類過程數(shù)據(jù)的每個屬性對聚類所起的作用不同，本文提出了一種基于屬性權(quán)重

2、的Global K-means算法，即Global weighted K-means(GWKM)算法。GWKM算法結(jié)合了LAW K-means(LKM)算法的屬性權(quán)重技術(shù)和GlobalK-means(GKM)算法的聚類框架，在GKM算法每次進行聚類中心的選取過程中，引入LAW K-means算法，不僅求得了聚類中心，而且確定了聚類屬性權(quán)重，最終得到了更加準確和穩(wěn)定的聚類結(jié)果。
　　 但當遇到一些數(shù)據(jù)，其維度的稀疏性較大，將會給多

3、維數(shù)據(jù)的聚類帶來很大問題。為了能夠有效地解決稀疏多維數(shù)據(jù)所帶來的聚類問題，本文提出了一種新的基于熵權(quán)重的Global K-means算法，即Global Entropy weightedK-means(GEWKM)算法。GEWKM算法結(jié)合了Entropy Weighting K-means(EWKM)算法的熵權(quán)重和Global K-means(GKM)算法的聚類框架，在GKM算法每次進行聚類中心的選取過程中，引入了Entropy Wei

4、ghting K-means算法，采用更加合理的熵權(quán)重計算屬性權(quán)重值，得到了更為理想的結(jié)果。實驗表明，所提出的算法是穩(wěn)定的，能夠有效地解決數(shù)據(jù)稀疏性所帶來的聚類問題。
　　 由于本文提出的GWKM算法和GEWKM算法都是基于Global K-means算法框架，但是由于Global K-means算法的計算復(fù)雜度較大，限制了其在海量數(shù)據(jù)上的應(yīng)用，所以為了解決Global K-means算法計算復(fù)雜度大，不能滿足處理大規(guī)模數(shù)據(jù)挖掘

5、問題的時間要求，本文提出了基于GPU的并行Global K-means算法-PGKM Mix算法，該算法并行了其中最為耗時的聚類中心的選取，為了更加充分地挖掘PGKM Mix算法的數(shù)據(jù)并行性，進一步提出了PGKM_IRG算法，該算法引入了非規(guī)則歸約方法來并行聚類中心的更新。并著重描述了在GPU上實現(xiàn)這兩種并行算法的設(shè)計方案和操作細節(jié)。通過人工數(shù)據(jù)集和UCI數(shù)據(jù)集上進行的實驗，驗證了并行算法在不影響性能的基礎(chǔ)上實現(xiàn)了很高的加速比，說明了提