基于Global K-means的多維數(shù)據(jù)聚類算法研究及其GPU加速.pdf

1、隨著人們生產(chǎn)生活的越來越繁雜，使得數(shù)據(jù)量高速增加，數(shù)據(jù)挖掘技術(shù)在人們的生活中起著越來越重要的作用。而聚類分析作為數(shù)據(jù)挖掘的一種重要技術(shù)，對(duì)各種數(shù)據(jù)的分析起著至關(guān)重要的作用，本文主要就多維數(shù)據(jù)的聚類算法進(jìn)行了研究，提出了兩種針對(duì)多維數(shù)據(jù)的聚類算法。同時(shí)為了解決海量數(shù)據(jù)的處理時(shí)間問題，進(jìn)行了相關(guān)算法的GPU加速研究。本文的主要研究工作闡述如下：
　　 針對(duì)多維數(shù)據(jù)聚類過程數(shù)據(jù)的每個(gè)屬性對(duì)聚類所起的作用不同，本文提出了一種基于屬性權(quán)重

2、的Global K-means算法，即Global weighted K-means(GWKM)算法。GWKM算法結(jié)合了LAW K-means(LKM)算法的屬性權(quán)重技術(shù)和GlobalK-means(GKM)算法的聚類框架，在GKM算法每次進(jìn)行聚類中心的選取過程中，引入LAW K-means算法，不僅求得了聚類中心，而且確定了聚類屬性權(quán)重，最終得到了更加準(zhǔn)確和穩(wěn)定的聚類結(jié)果。
　　 但當(dāng)遇到一些數(shù)據(jù)，其維度的稀疏性較大，將會(huì)給多

3、維數(shù)據(jù)的聚類帶來很大問題。為了能夠有效地解決稀疏多維數(shù)據(jù)所帶來的聚類問題，本文提出了一種新的基于熵權(quán)重的Global K-means算法，即Global Entropy weightedK-means(GEWKM)算法。GEWKM算法結(jié)合了Entropy Weighting K-means(EWKM)算法的熵權(quán)重和Global K-means(GKM)算法的聚類框架，在GKM算法每次進(jìn)行聚類中心的選取過程中，引入了Entropy Wei

4、ghting K-means算法，采用更加合理的熵權(quán)重計(jì)算屬性權(quán)重值，得到了更為理想的結(jié)果。實(shí)驗(yàn)表明，所提出的算法是穩(wěn)定的，能夠有效地解決數(shù)據(jù)稀疏性所帶來的聚類問題。
　　 由于本文提出的GWKM算法和GEWKM算法都是基于Global K-means算法框架，但是由于Global K-means算法的計(jì)算復(fù)雜度較大，限制了其在海量數(shù)據(jù)上的應(yīng)用，所以為了解決Global K-means算法計(jì)算復(fù)雜度大，不能滿足處理大規(guī)模數(shù)據(jù)挖掘

5、問題的時(shí)間要求，本文提出了基于GPU的并行Global K-means算法-PGKM Mix算法，該算法并行了其中最為耗時(shí)的聚類中心的選取，為了更加充分地挖掘PGKM Mix算法的數(shù)據(jù)并行性，進(jìn)一步提出了PGKM_IRG算法，該算法引入了非規(guī)則歸約方法來并行聚類中心的更新。并著重描述了在GPU上實(shí)現(xiàn)這兩種并行算法的設(shè)計(jì)方案和操作細(xì)節(jié)。通過人工數(shù)據(jù)集和UCI數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，驗(yàn)證了并行算法在不影響性能的基礎(chǔ)上實(shí)現(xiàn)了很高的加速比，說明了提