基于云平臺(tái)下的數(shù)據(jù)挖掘研究.pdf

1、生活在信息大爆炸的時(shí)代，社會(huì)網(wǎng)絡(luò)產(chǎn)生數(shù)字圖像、視頻、網(wǎng)絡(luò)博客，網(wǎng)絡(luò)社區(qū)等形形色色的數(shù)據(jù)。但是隨著數(shù)據(jù)的數(shù)據(jù)源種類(lèi)越來(lái)越多樣化，數(shù)據(jù)的爆炸式增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)不能滿(mǎn)足我們的要求，需要建立一種新的有效機(jī)制來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的分析處理。而云計(jì)算平臺(tái)下的數(shù)據(jù)挖掘的出現(xiàn)是由于其能提供大規(guī)模的存儲(chǔ)空間，便于海量數(shù)據(jù)的存儲(chǔ)，同時(shí)具有很高的可擴(kuò)展性，編程人員能夠在它們的服務(wù)之上構(gòu)建無(wú)縫可擴(kuò)展的應(yīng)用。因此，如果能夠優(yōu)化傳統(tǒng)的數(shù)據(jù)挖掘算法將其部署到云

2、計(jì)算平臺(tái)之上，便可解決海量數(shù)據(jù)處理難的問(wèn)題。
　　但是，將傳統(tǒng)經(jīng)典算法部署到云計(jì)算平臺(tái)架構(gòu)之上，也會(huì)遇到很多問(wèn)題。①處理大數(shù)據(jù)中的算法重復(fù)迭代是不可避免的難題；②數(shù)據(jù)循環(huán)遍歷產(chǎn)生的通信成本負(fù)荷重；③傳統(tǒng)算法分析處理海量數(shù)據(jù)的時(shí)間慢，產(chǎn)生的I/O成本和網(wǎng)絡(luò)成本大。
　　針對(duì)傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在云計(jì)算平臺(tái)上遇到的問(wèn)題，本文首先從云計(jì)算平臺(tái)和數(shù)據(jù)挖掘的基本原理[35]出發(fā)，分析云計(jì)算中的相關(guān)技術(shù)、討論并行編程模型MapReduce的

3、編程原理、分布式系統(tǒng)HDFS的存儲(chǔ)方式以及基于云計(jì)算的Hadoop平臺(tái)的數(shù)據(jù)挖掘架構(gòu)，提出使用云計(jì)算下的數(shù)據(jù)挖掘處理機(jī)制來(lái)解決處理大規(guī)模數(shù)據(jù)難的問(wèn)題，并獲得較高的性能；其次針對(duì)大數(shù)據(jù)的數(shù)據(jù)類(lèi)型多樣化和數(shù)據(jù)量的倍增，提出對(duì)基于云計(jì)算平臺(tái)下的傳統(tǒng)數(shù)據(jù)挖掘算法K-Means算法進(jìn)行優(yōu)化的方案，消除迭代算法的依賴(lài)性和減少計(jì)算成本；最后將優(yōu)化后的K-Means算法移植到Hadoop平臺(tái)進(jìn)行試驗(yàn)，通過(guò)Hadoop集群下的MapReduce的編程計(jì)算