面向大數(shù)據(jù)的聚類方法及其應(yīng)用研究.pdf

1、近些年來，隨著計(jì)算機(jī)科學(xué)與技術(shù)的快速發(fā)展，在很多行業(yè)中產(chǎn)生了越來越多的海量數(shù)據(jù)信息。聚類作為數(shù)據(jù)挖掘的一個非常受關(guān)注的分支學(xué)科，在這種情況下得到了長足的發(fā)展，一系列經(jīng)典的聚類算法被研究者提出，但目前能應(yīng)用于大數(shù)據(jù)聚類的算法不多，Apache Mahout推出的聚類算法只有5種，其中有4種基于Kmeans算法開發(fā)的，Spark官方推出的聚類算法目前只有Kmeans。一些效果較好的聚類算法，它們的時間復(fù)雜度比較高，開發(fā)出適應(yīng)大數(shù)據(jù)聚類的難度

2、較大。傳統(tǒng)的Kmeans可以用于大數(shù)據(jù)聚類，但其迭代過程涉及到多次的HDFS文件系統(tǒng)的讀寫操作也非常費(fèi)時。
　　本文通過引入聚類特征樹，獲得微簇中心點(diǎn)集，利用Maximin算法選取初始聚類中心點(diǎn)集，提出了基于層次和劃分的BM2Kmeans算法，同時利用微簇中心進(jìn)行微簇融合，提出了基于層次和密度的BMCMCluster算法。前一種算法能夠?qū)崿F(xiàn)快速搜索到較好且穩(wěn)定的初始聚類中心點(diǎn)集，從而實(shí)現(xiàn)高效的大數(shù)據(jù)聚類，但需要指定聚類類別數(shù);后一

3、種算法也能夠?qū)崿F(xiàn)快速、高效的大數(shù)據(jù)聚類，且聚類類別數(shù)不需指定，算法會通過微簇融合的方式形成大的聚簇，能夠發(fā)現(xiàn)任意形狀聚簇。
　　本文研究以油氣勘探領(lǐng)域的數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)，對基于Hadoop平臺實(shí)現(xiàn)的兩種針對本文提出的聚類算法通過實(shí)驗(yàn)驗(yàn)證，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析，通過可視化的方式將這兩種聚類算法的聚類結(jié)果表達(dá)出來。通過實(shí)驗(yàn)，可以看出基于層次和劃分的集成聚類算法BM2Kmeans的聚類效果要優(yōu)于傳統(tǒng)的Kmeans大數(shù)據(jù)聚類算法，并對基于層