基于MapReduce的自適應(yīng)密度聚類算法研究.pdf

1、隨著數(shù)據(jù)的爆炸式增長,單機(jī)聚類算法無論是存儲(chǔ)能力還是處理能力都無法滿足海量數(shù)據(jù)的聚類,必須尋求并行化的解決方案。Google提出的分布式編程模型MapReduce給并行聚類帶來了新的希望,因此,論文提出了一種基于MapReduce的自適應(yīng)密度聚類算法。
　　論文首先針對(duì)DBSCAN無法處理變化密度的聚類和參數(shù)敏感的問題進(jìn)行了改進(jìn),提出了一種自適應(yīng)的密度聚類算法ADC。算法將一個(gè)點(diǎn)到其第k個(gè)最鄰近鄰居的距離定義為密度,使用密度變化率

2、來識(shí)別簇邊界,當(dāng)且僅當(dāng)一個(gè)點(diǎn)的最鄰近鄰居中至少有k個(gè)點(diǎn)的密度與該點(diǎn)的密度變化率小于用戶給定的閾值,該點(diǎn)才為核點(diǎn),并且閾值在運(yùn)行時(shí)自動(dòng)動(dòng)態(tài)調(diào)整。其次,論文在ADC的基礎(chǔ)上,提出了一種基于MapReduce的聚類算法MR-ADC,算法包括五個(gè)步驟:1)對(duì)數(shù)據(jù)進(jìn)行歸一化;2)將歸一化后的數(shù)據(jù)均勻的劃分為若干個(gè)塊;3)在劃分后的每一個(gè)塊上分別應(yīng)用改進(jìn)的ADC算法進(jìn)行聚類,并且將靠近劃分邊界的點(diǎn)寫入HDFS;4)對(duì)劃分邊界的點(diǎn)進(jìn)行分析,將局部簇合