基于MapReduce的并行聚類算法研究.pdf

1、聚類分析技術(shù)作為一種無(wú)監(jiān)督的數(shù)據(jù)處理方法被廣泛應(yīng)用在數(shù)據(jù)挖掘、圖像處理、生物學(xué)、天文學(xué)等領(lǐng)域。然而隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，各種數(shù)據(jù)正急劇增長(zhǎng)。面對(duì)如此龐大的數(shù)據(jù)，在傳統(tǒng)的單機(jī)上對(duì)大規(guī)模數(shù)據(jù)進(jìn)行聚類分析在運(yùn)行效率和時(shí)間復(fù)雜度上均無(wú)法滿足要求。Google公司提出的MapReduce并行編程模型能對(duì)傳統(tǒng)的聚類算法在多臺(tái)計(jì)算機(jī)上進(jìn)行并行處理，有效降低算法的時(shí)間復(fù)雜度，縮短聚類時(shí)間。
　　本文在深入研究模糊C均值算法的基礎(chǔ)上，主要工作如

2、下：
　　(1)針對(duì)FCM算法在海量數(shù)據(jù)規(guī)模下時(shí)間復(fù)雜度過(guò)高的問(wèn)題，提出一種在MapReduce編程模型下的并行化FCM算法。算法在Map階段對(duì)數(shù)據(jù)集到中心點(diǎn)的隸屬度的過(guò)程并行計(jì)算，在Reduce階段對(duì)更新聚類中心的迭代過(guò)程并行計(jì)算。本文還在Map和Reduce過(guò)程中間加入了一個(gè)Combine過(guò)程，對(duì)Map過(guò)程輸出的結(jié)果進(jìn)行合并，減少數(shù)據(jù)節(jié)點(diǎn)間的通信和Reduce過(guò)程的任務(wù)數(shù)量。
　　(2)針對(duì)FCM算法對(duì)初始聚類中心敏感的

3、問(wèn)題，利用Canopy算法能對(duì)數(shù)據(jù)集進(jìn)行快速粗聚類的特點(diǎn)，提出了基于Canopy算法的模糊C均值聚類算法(Canopy-FCM)，并在MapReduce模型上設(shè)計(jì)并實(shí)現(xiàn)了并行化的Canopy-FCM算法。進(jìn)一步，針對(duì)Canopy-FCM算法Canopy中心點(diǎn)選取盲目、不精確的問(wèn)題，提出了基于最小最大距離算法的模糊C均值聚類算法(MM-FCM)。然后在MapReduce模型上對(duì)MM-FCM算法進(jìn)行重新設(shè)計(jì)并實(shí)現(xiàn)。
　　(3)最后，通