基于云計(jì)算的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、云計(jì)算是一種商業(yè)計(jì)算模型,它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,能為用戶提供按需分配的計(jì)算能力、存儲(chǔ)能力及應(yīng)用服務(wù)能力;云計(jì)算為存儲(chǔ)和分析海量數(shù)據(jù)提供了廉價(jià)高效的解決方案。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取隱藏在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程,對(duì)科學(xué)研究與商業(yè)決策等多個(gè)領(lǐng)域起到了指導(dǎo)作用,具有深遠(yuǎn)的社會(huì)和經(jīng)濟(jì)意義。數(shù)據(jù)挖掘由于所需要用到的運(yùn)算存儲(chǔ)量均是巨大的,所以將

2、云計(jì)算與數(shù)據(jù)挖掘相結(jié)合可以有效的控制計(jì)算成本,提升數(shù)據(jù)挖掘的效率,突破傳統(tǒng)數(shù)據(jù)挖掘的瓶頸限制。云計(jì)算環(huán)境下的并行數(shù)據(jù)挖掘策略的研究具有重要的理論意義和應(yīng)用價(jià)值。
　　Hadoop框架作為目前業(yè)界最為有名的開(kāi)源分布式計(jì)算框架,通過(guò)采用MapReduce并行化模型,有效的整合現(xiàn)有運(yùn)算存儲(chǔ)能力,提供強(qiáng)大的分布式計(jì)算能力,MapReduce也被證實(shí)為高效的計(jì)算工具。本文主要完成以下工作:
　　1.總結(jié)云計(jì)算和數(shù)據(jù)挖掘的相關(guān)概念和技術(shù)

3、,分析了經(jīng)典關(guān)聯(lián)規(guī)則挖掘算法Apriori算法及其改進(jìn)算法的優(yōu)缺點(diǎn)、Hadoop平臺(tái)和MapReduce編程模型。
　　2.基于以上基礎(chǔ)將Apriori算法轉(zhuǎn)化為MapReduce模型,實(shí)現(xiàn)Apriori并行化改造,同時(shí)采用一些優(yōu)化方法,提高Apriori算法在Hadoop框架下的表現(xiàn),最終實(shí)現(xiàn)具有高擴(kuò)展性適合于云計(jì)算環(huán)境的MapReduce-Apriori算法。
　　3.將算法應(yīng)用于對(duì)某保險(xiǎn)公司保單數(shù)據(jù)集的分析,結(jié)果表明,