Hadoop平臺下的分布式聚類算法研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的廣泛應(yīng)用，各行各業(yè)需要分析處理的數(shù)據(jù)量飛速增長，甚至達(dá)到海量數(shù)據(jù)的水平。傳統(tǒng)的聚類分析算法往往由于物理機(jī)器內(nèi)存不足或效率低而不能滿足處理大數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)的需求。分布式計(jì)算的出現(xiàn)，為解決以上問題提供了有效途徑。但對結(jié)構(gòu)化網(wǎng)絡(luò)還沒有高效的分布式算法進(jìn)行有效處理。此外分布式k-means聚類算法初始中心點(diǎn)選取的主觀性使得聚類結(jié)果不穩(wěn)定，聚類時(shí)間長，而改進(jìn)的分布式k-means聚類算法初始中心點(diǎn)選取的過程比較復(fù)雜，時(shí)間和空間復(fù)雜度比較

2、高。
　　針對以上問題，本文分析了聚類算法方面的國內(nèi)外研究現(xiàn)狀，對SCAN算法、Clique算法及分布式k-means算法的基本原理及優(yōu)缺點(diǎn)進(jìn)行研究，并對Hadoop平臺的分布式文件系統(tǒng)和分布式框架的特性和運(yùn)行機(jī)制進(jìn)行深入研究。本文根據(jù)Hadoop平臺的工作原理，提出兩種分布式聚類算法:(1)結(jié)構(gòu)化分布式聚類算法，結(jié)合SCAN算法思想，采用MRC理論設(shè)計(jì)有限MapReduce輪數(shù)，控制混洗排序所需時(shí)間，利用Map內(nèi)合并技術(shù)對網(wǎng)絡(luò)流

3、量進(jìn)行控制，控制內(nèi)存開銷;(2)基于密度的分布式聚類算法，結(jié)合分布式k-means算法和Clique算法，利用分布式CLIQUE算法自動(dòng)快速地確定聚類個(gè)數(shù)，選取全局初始聚類中心點(diǎn)，利用格密度除去噪聲點(diǎn)。
　　利用模擬生成結(jié)構(gòu)化網(wǎng)絡(luò)和空間網(wǎng)絡(luò)在Hadoop集群中進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明結(jié)構(gòu)化分布式聚類算法具有良好的加速比與擴(kuò)展性，基于密度的分布式算法在劃分效果和效率方面優(yōu)于分布式k-means算法，算法對含噪聲數(shù)據(jù)的數(shù)據(jù)集處理效果更好