云環(huán)境下的關(guān)聯(lián)規(guī)則挖掘算法研究.pdf

1、隨著信息技術(shù)的突飛猛進(jìn)，特別是計(jì)算機(jī)硬件性能的不斷提高，人們收集、存儲(chǔ)、傳輸?shù)臄?shù)據(jù)量已經(jīng)達(dá)到海量級(jí)。從海量數(shù)據(jù)中提煉出有用信息是一項(xiàng)富有挑戰(zhàn)性的任務(wù)，也正是數(shù)據(jù)挖掘這門學(xué)科的主要目的。數(shù)據(jù)挖掘需要依賴高性能的挖掘算法和穩(wěn)定的軟件平臺(tái)。
　　傳統(tǒng)的挖掘算法大部分采用串行設(shè)計(jì)，考慮的主要是節(jié)省內(nèi)存開(kāi)銷，隨著“大數(shù)據(jù)時(shí)代”來(lái)臨，依賴于單機(jī)工作的傳統(tǒng)挖掘技術(shù)已無(wú)法有效處理日漸頻繁的挖掘請(qǐng)求和日益增長(zhǎng)的數(shù)據(jù)量。
　　云計(jì)算應(yīng)運(yùn)而生，作

2、為一種新興的基于互聯(lián)網(wǎng)的計(jì)算手段，它使得用戶可以像使用水電資源一樣使用計(jì)算和存儲(chǔ)資源。將云計(jì)算運(yùn)用到數(shù)據(jù)挖掘，可以充分利用其分布式的優(yōu)勢(shì)處理“大數(shù)據(jù)”。ApacheHadoop是一款開(kāi)源軟件，實(shí)現(xiàn)了包括分布式文件系統(tǒng)HDFS和MapReduce框架在內(nèi)的云計(jì)算軟件平臺(tái)和基礎(chǔ)架構(gòu)，是云計(jì)算技術(shù)中的重要組成部分，目前已成為工業(yè)界和學(xué)術(shù)界進(jìn)行云計(jì)算應(yīng)用和研究的標(biāo)準(zhǔn)平臺(tái)。
　　本文首先分析了Apriori、FP-growth、Eclat等

3、傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘算法的設(shè)計(jì)思想、優(yōu)缺點(diǎn)，然后剖析了Hadoop平臺(tái)的架構(gòu)和
　　MapReduce的運(yùn)行機(jī)制。在此基礎(chǔ)上，主要完成以下工作:
　　1、分析了Apriori算法在MapReduce框架下的并行化版本，即SPC/DPC算法的設(shè)計(jì)和優(yōu)缺點(diǎn);分析了FP-growth算法在MapReduce框架下的并行化版本，即PFP算法的設(shè)計(jì)和優(yōu)缺點(diǎn)。
　　2、提出并實(shí)現(xiàn)了Eclat算法在MapReduce框架下的并行化版本，