基于Hadoop平臺并行Overlapping聚類算法研究.pdf

1、聚類分析在數(shù)據(jù)挖掘領(lǐng)域中占有重要的一席之地，主要是用來發(fā)現(xiàn)數(shù)據(jù)對象在空間中的分布結(jié)構(gòu)。根據(jù)數(shù)據(jù)對象間的相似度量，聚類算法將數(shù)據(jù)對象集合分割成若干個簇，在同一個簇中的數(shù)據(jù)對象有比較高的相似性，但是在不同的簇中的數(shù)據(jù)對象的相似性就比較小。在現(xiàn)實世界中，數(shù)據(jù)簇之間往往是重疊的。換句話說就是，數(shù)據(jù)簇之間沒有明顯的界限，它們之間往往存在交叉或重疊的數(shù)據(jù)對象，這些數(shù)據(jù)對象可以屬于多個簇，Overlapping聚類算法就是為了將這些Overlappi

2、ng數(shù)據(jù)對象更好地劃分，并找到它們。
　　本文提出了幾種關(guān)于表述數(shù)據(jù)簇與數(shù)據(jù)簇之間相似性的方法，并在這些方法上建立了關(guān)于Overlapping聚類框架。該框架主要包含三個部分:聚類、選擇和融合。在聚類部分中，所有的聚類算法都可以使用。在選擇部分中，數(shù)據(jù)簇之間存在Overlapping數(shù)據(jù)對象的簇將會被選擇出來，本文提出了基于軟聚類和硬聚類的選擇方法。在融合部分中，將被選中的簇進行融合，Overlapping的數(shù)據(jù)對象將會被劃分到兩

3、個或多個簇中。此Overlapping聚類框架的建立，使得所有聚類算法都可以使用，這對表征數(shù)據(jù)對象在空間中分布是有好處的，此框架在處理數(shù)據(jù)時更加靈活。它可以可以使之前的非Overlapping聚類算法，在此框架下發(fā)揮作用，來解決Overlapping聚類問題。
　　在面對大數(shù)據(jù)時，無論是在數(shù)據(jù)吞吐或者運算能力方面，單機串行的聚類算法都無法有效地滿足實際需求。我們基于MapReduce編程模型對Overlapping聚類算法進行并行