基于模型融合的分布式聚類框架的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)以及社會化網(wǎng)絡(luò)的迅猛發(fā)展,大數(shù)據(jù)分析與挖掘已經(jīng)成為一個公認的世界性難題,聚類作為數(shù)據(jù)挖掘的經(jīng)典手段,就必須以分布式架構(gòu)為基礎(chǔ)進行改造,才能解決其對大數(shù)據(jù)的計算瓶頸。這樣才能適應(yīng)當(dāng)前形勢下數(shù)據(jù)規(guī)模龐大且分散的現(xiàn)實環(huán)境。當(dāng)然,分布式聚類也已經(jīng)成為學(xué)術(shù)研究領(lǐng)域的一個熱點問題,其算法及改進也是層出不窮的。當(dāng)前分布式聚類算法大多需要節(jié)點間相互同通信,大量的冗余數(shù)據(jù)充斥網(wǎng)絡(luò),卻而缺乏一個中心節(jié)點來統(tǒng)籌全局;而設(shè)立中心節(jié)點的算法,其中心節(jié)點

2、只是起到了轉(zhuǎn)發(fā)數(shù)據(jù)的作用,而又由于數(shù)據(jù)分布,數(shù)據(jù)質(zhì)量,等問題不能充分發(fā)揮其作用。故本文將這兩種方式取長補短,探索一種既減少了網(wǎng)絡(luò)數(shù)據(jù)傳輸,又避免了數(shù)據(jù)分布不均勻?qū)垲愃惴ㄔ斐傻挠绊?即:
　　1.設(shè)立中心節(jié)點;
　　2.通過數(shù)據(jù)密度的方式來描述數(shù)據(jù)分布情況。
　　我們針對分布式聚類算法現(xiàn)存的幾個主要問題:數(shù)據(jù)的分布、數(shù)據(jù)質(zhì)量等因素對聚類的結(jié)果影響嚴重;在運算過程中缺乏全局數(shù)據(jù)描述;計算效率低下、大量傳輸冗余數(shù)據(jù),進行改

3、進。
　　由于存在以上問題,我們首先采用了“一主多從”的模式,即一個中心節(jié)點來統(tǒng)籌全局接受并轉(zhuǎn)發(fā)數(shù)據(jù),各個子節(jié)點進行數(shù)據(jù)計算及上報數(shù)據(jù)。從而解決節(jié)點間直接相互傳輸數(shù)據(jù)造成的資源浪費。然后通過數(shù)據(jù)密度來描述數(shù)據(jù)的分布情況,從而減少數(shù)據(jù)分布及數(shù)據(jù)質(zhì)量對聚類的影響。
　　根據(jù)算法的設(shè)計初衷,本文采用經(jīng)典的k-means算法作為實現(xiàn)本框架的基本算法。采用hadoop的map/reduce,hdfs來實現(xiàn)迭代、數(shù)據(jù)存儲及傳輸工作。