一類基于密度的聚類算法研究.pdf

1、聚類分析中，基于密度的聚類算法占有非常重要的地位，在信息的過濾、檢索、醫(yī)療衛(wèi)生和公共服務等各個領(lǐng)域都得到廣泛地應用，是聚類分析的重點研究內(nèi)容。本文對層次聚類算法的特征和密度聚類算法的特征進行研究，提出了基于層次的密度聚類算法，結(jié)果表明新算法聚類的準確率和聚類的效率均得到提高。根據(jù) Alex Rodriguez和 Alessandro Laio提出的一種新的密度聚類算法 CFSFDP(Clustering by Fast Search a

2、nd Find of Density Peaks)，提出了MapReduce框架下該算法的并行化模型。和其他密度聚類算法一樣，該算法在并行條件下能對復雜形狀的聚類進行處理，并且數(shù)據(jù)中類的數(shù)量也不需要提前指定，同時，CFSFDP算法需要用戶指定的參數(shù)較少。和需要迭代的聚類算法相比，該算法的運行時間得到很大程度地降低。
　　本研究主要內(nèi)容包括：⑴針對傳統(tǒng)的聚類算法需要反復地對數(shù)據(jù)集聚類，且計算效率在大規(guī)模數(shù)據(jù)集上欠佳的問題，提出了一種

3、改進算法，即基于層次聚類確定最佳聚類數(shù)和初始聚類中心的CODHD算法。該算法研究計算過程，對數(shù)據(jù)集不需要反復進行聚類。首先，通過對數(shù)據(jù)集進行掃描，進而獲得聚類特征的所有的統(tǒng)計值；其次，采用自下而上的方法生成層次不相同的數(shù)據(jù)劃分，對每個劃分的數(shù)據(jù)點的密度進行計算，將密度最大的點定為中心點，計算中心點距離更高密度點的最小距離，將最小距離與中心點的密度作乘積，取乘積之和的平均值作為有效性指標，根據(jù)聚類結(jié)果，增量地構(gòu)建一條屬于不同層次的曲線；最

4、后，曲線極值點處對應的劃分，用來估計初始的聚類中心和最佳的聚類數(shù)。實驗結(jié)果表明，相比較COPS算法，本文提出的CODHD算法，聚類準確率和效率均得到提高。⑵傳統(tǒng)的CFSFDP算法能夠很好地識別空間中任意形狀和任意維度的聚類，但是當處理大規(guī)模數(shù)據(jù)集時，兩點之間距離的計算耗費太長時間，為克服提到的缺點，提出了一種基于MapReduce的CFSFDP算法，又稱 mrCFSFDP。mrCFSFDP只需要讀取數(shù)據(jù)集一遍，因此運行時間很快，運行在多