面向大數(shù)據(jù)的聚類方法及其應用研究.pdf

1、近些年來，隨著計算機科學與技術的快速發(fā)展，在很多行業(yè)中產(chǎn)生了越來越多的海量數(shù)據(jù)信息。聚類作為數(shù)據(jù)挖掘的一個非常受關注的分支學科，在這種情況下得到了長足的發(fā)展，一系列經(jīng)典的聚類算法被研究者提出，但目前能應用于大數(shù)據(jù)聚類的算法不多，Apache Mahout推出的聚類算法只有5種，其中有4種基于Kmeans算法開發(fā)的，Spark官方推出的聚類算法目前只有Kmeans。一些效果較好的聚類算法，它們的時間復雜度比較高，開發(fā)出適應大數(shù)據(jù)聚類的難度

2、較大。傳統(tǒng)的Kmeans可以用于大數(shù)據(jù)聚類，但其迭代過程涉及到多次的HDFS文件系統(tǒng)的讀寫操作也非常費時。
　　本文通過引入聚類特征樹，獲得微簇中心點集，利用Maximin算法選取初始聚類中心點集，提出了基于層次和劃分的BM2Kmeans算法，同時利用微簇中心進行微簇融合，提出了基于層次和密度的BMCMCluster算法。前一種算法能夠?qū)崿F(xiàn)快速搜索到較好且穩(wěn)定的初始聚類中心點集，從而實現(xiàn)高效的大數(shù)據(jù)聚類，但需要指定聚類類別數(shù);后一

3、種算法也能夠?qū)崿F(xiàn)快速、高效的大數(shù)據(jù)聚類，且聚類類別數(shù)不需指定，算法會通過微簇融合的方式形成大的聚簇，能夠發(fā)現(xiàn)任意形狀聚簇。
　　本文研究以油氣勘探領域的數(shù)據(jù)為實驗數(shù)據(jù)，對基于Hadoop平臺實現(xiàn)的兩種針對本文提出的聚類算法通過實驗驗證，并對實驗結(jié)果進行分析，通過可視化的方式將這兩種聚類算法的聚類結(jié)果表達出來。通過實驗，可以看出基于層次和劃分的集成聚類算法BM2Kmeans的聚類效果要優(yōu)于傳統(tǒng)的Kmeans大數(shù)據(jù)聚類算法，并對基于層