基于云計(jì)算的聚類算法的MapReduce化研究.pdf

1、聚類算法的研究有著很長(zhǎng)的歷史，幾十年來，其重要性及與其他研究方向的交叉性得到人們的肯定。聚類算法作為一種非監(jiān)督學(xué)習(xí)的方法，是包括模式識(shí)別、數(shù)據(jù)挖掘、圖像分析、機(jī)器學(xué)習(xí)等諸多領(lǐng)域數(shù)據(jù)統(tǒng)計(jì)分析的一種常用技術(shù)。隨著互聯(lián)網(wǎng)上數(shù)據(jù)的快速增長(zhǎng)，在單機(jī)上對(duì)大規(guī)模數(shù)據(jù)進(jìn)行聚類時(shí)會(huì)遇到內(nèi)存容量和內(nèi)核處理速度的瓶頸問題，難以滿足實(shí)際應(yīng)用的需求。
　　云計(jì)算是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)隨地、按需、便捷地訪問共享資源池的計(jì)算模式。云計(jì)算是網(wǎng)格計(jì)算、并行計(jì)算和

2、分布式計(jì)算的發(fā)展，具有處理大規(guī)模數(shù)據(jù)的能力。
　　本文旨在利用云計(jì)算平臺(tái)的大規(guī)模數(shù)據(jù)處理能力，解決聚類算法所面臨的大規(guī)模數(shù)據(jù)問題。本文分析了云計(jì)算的體系架構(gòu)，研究了MapReduce編程模型和HDFS分布式文件系統(tǒng)，介紹了聚類算法的相關(guān)技術(shù)。將ISODATA算法與MapReduce編程模型相結(jié)合，實(shí)現(xiàn)了基于MapReduce的ISODATA算法。針對(duì)ISODATA算法的不足，提出了一種改進(jìn)的算法WISODATA，并實(shí)現(xiàn)了基于Map

3、Reduce的WISODATA算法。從UCI機(jī)器學(xué)習(xí)庫(kù)上選取知名數(shù)據(jù)集，分析和比較了ISODATA算法、基于MapReduce的ISODATA算法、WISODATA算法和基于MapReduce的WISODATA算法的聚類結(jié)果，實(shí)驗(yàn)結(jié)果表明四種算法聚類結(jié)果具有較高的準(zhǔn)確率，WISODATA與基于MapReduce的WISODATA算法均優(yōu)于ISODATA與基于MapReduce的ISODATA算法。通過在不同大小數(shù)據(jù)集上的實(shí)驗(yàn)分析了基于M