基于云計(jì)算平臺Hadoop的聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展,數(shù)據(jù)的規(guī)模不斷擴(kuò)大,從KB量級發(fā)展到TB甚至PB量級。如何從海量的數(shù)據(jù)中快速有效地挖掘出對用戶有用的知識,是數(shù)據(jù)挖掘所面臨的一個(gè)新的挑戰(zhàn)。Hadoop是一個(gè)開源的云計(jì)算平臺,可以實(shí)現(xiàn)海量數(shù)據(jù)的高效存儲和分析。聚類分析是數(shù)據(jù)挖掘的重要分支,基于Hadoop平臺的聚類研究是一個(gè)新的熱點(diǎn)。
　　論文研究了云計(jì)算技術(shù)和聚類分析技術(shù),著重研究了基于Hadoop平臺的聚類方法。主要內(nèi)容包括:
　　(1)研究云計(jì)算技

2、術(shù)。重點(diǎn)對 Hadoop平臺的分布式文件系統(tǒng)(HDFS)和編程模型(MapReduce)的核心架構(gòu)、技術(shù)以及相關(guān)的機(jī)制進(jìn)行深入研究和分析,為算法設(shè)計(jì)和實(shí)現(xiàn)奠定堅(jiān)實(shí)基礎(chǔ)。
　　(2)研究聚類分析技術(shù)。重點(diǎn)研究了聚類算法的基本流程、設(shè)計(jì)要求和評估標(biāo)準(zhǔn),剖析了基于層次、基于劃分、基于密度以及面向高維數(shù)據(jù)的聚類算法思想,分析了基于云計(jì)算平臺聚類分析技術(shù)的研究現(xiàn)狀。
　　(3)針對現(xiàn)有很多聚類算法不能有效遷移到云計(jì)算平臺的問題,提出一

3、種能在Hadoop平臺實(shí)現(xiàn)高效并行化的聚類算法bigKClustering。算法借鑒微簇的思想,將數(shù)據(jù)劃分后得到的每個(gè)分組抽象成一個(gè)特征向量,并將它當(dāng)做一個(gè)虛擬點(diǎn)處理,可以保證比較緊湊的點(diǎn)始終屬于同一個(gè)簇,提高聚類質(zhì)量。算法在聚類過程中只對原始數(shù)據(jù)進(jìn)行一次劃分,避免了很多傳統(tǒng)聚類算法迭代操作原始數(shù)據(jù)集的做法,僅需少數(shù)幾個(gè)job就能在MapReduce框架上完成并行化操作。實(shí)驗(yàn)結(jié)果表明,bigKClustering算法不僅具有良好的時(shí)間效

4、率和聚類效果,同時(shí)具有良好的可伸縮性和時(shí)間穩(wěn)定性。
　　(4)針對 MapReduce在執(zhí)行算法過程中產(chǎn)生大量中間值的問題,提出SnIClustering聚類算法。算法借鑒采樣和過濾的思想,盡量減少最終聚類過程所涉及到的數(shù)據(jù)量。首先,使用概率采樣的方式從原始數(shù)據(jù)集中抽取極少量具有全局代表性的樣本;然后,根據(jù)這些樣本的分布特征對原始數(shù)據(jù)集進(jìn)行有效過濾;最后,在單個(gè)節(jié)點(diǎn)上對過濾后保留下來的數(shù)據(jù)和樣本進(jìn)行聚類。實(shí)驗(yàn)結(jié)果表明,SnIClu