基于模型融合的分布式聚類框架的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)以及社會(huì)化網(wǎng)絡(luò)的迅猛發(fā)展,大數(shù)據(jù)分析與挖掘已經(jīng)成為一個(gè)公認(rèn)的世界性難題,聚類作為數(shù)據(jù)挖掘的經(jīng)典手段,就必須以分布式架構(gòu)為基礎(chǔ)進(jìn)行改造,才能解決其對(duì)大數(shù)據(jù)的計(jì)算瓶頸。這樣才能適應(yīng)當(dāng)前形勢(shì)下數(shù)據(jù)規(guī)模龐大且分散的現(xiàn)實(shí)環(huán)境。當(dāng)然,分布式聚類也已經(jīng)成為學(xué)術(shù)研究領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題,其算法及改進(jìn)也是層出不窮的。當(dāng)前分布式聚類算法大多需要節(jié)點(diǎn)間相互同通信,大量的冗余數(shù)據(jù)充斥網(wǎng)絡(luò),卻而缺乏一個(gè)中心節(jié)點(diǎn)來(lái)統(tǒng)籌全局;而設(shè)立中心節(jié)點(diǎn)的算法,其中心節(jié)點(diǎn)

2、只是起到了轉(zhuǎn)發(fā)數(shù)據(jù)的作用,而又由于數(shù)據(jù)分布,數(shù)據(jù)質(zhì)量,等問(wèn)題不能充分發(fā)揮其作用。故本文將這兩種方式取長(zhǎng)補(bǔ)短,探索一種既減少了網(wǎng)絡(luò)數(shù)據(jù)傳輸,又避免了數(shù)據(jù)分布不均勻?qū)垲愃惴ㄔ斐傻挠绊?即:
　　1.設(shè)立中心節(jié)點(diǎn);
　　2.通過(guò)數(shù)據(jù)密度的方式來(lái)描述數(shù)據(jù)分布情況。
　　我們針對(duì)分布式聚類算法現(xiàn)存的幾個(gè)主要問(wèn)題:數(shù)據(jù)的分布、數(shù)據(jù)質(zhì)量等因素對(duì)聚類的結(jié)果影響嚴(yán)重;在運(yùn)算過(guò)程中缺乏全局?jǐn)?shù)據(jù)描述;計(jì)算效率低下、大量傳輸冗余數(shù)據(jù),進(jìn)行改

3、進(jìn)。
　　由于存在以上問(wèn)題,我們首先采用了“一主多從”的模式,即一個(gè)中心節(jié)點(diǎn)來(lái)統(tǒng)籌全局接受并轉(zhuǎn)發(fā)數(shù)據(jù),各個(gè)子節(jié)點(diǎn)進(jìn)行數(shù)據(jù)計(jì)算及上報(bào)數(shù)據(jù)。從而解決節(jié)點(diǎn)間直接相互傳輸數(shù)據(jù)造成的資源浪費(fèi)。然后通過(guò)數(shù)據(jù)密度來(lái)描述數(shù)據(jù)的分布情況,從而減少數(shù)據(jù)分布及數(shù)據(jù)質(zhì)量對(duì)聚類的影響。
　　根據(jù)算法的設(shè)計(jì)初衷,本文采用經(jīng)典的k-means算法作為實(shí)現(xiàn)本框架的基本算法。采用hadoop的map/reduce,hdfs來(lái)實(shí)現(xiàn)迭代、數(shù)據(jù)存儲(chǔ)及傳輸工作。