基于MapReduce的分布式閉頻繁模式發(fā)現(xiàn)方法研究.pdf

1、隨著用戶需求和網(wǎng)絡(luò)的不斷發(fā)展,人類社會(huì)積累的知識(shí)、數(shù)據(jù)急劇增加。如何從海量的事務(wù)數(shù)據(jù)中發(fā)現(xiàn)用戶感興趣的規(guī)則、有用的知識(shí)一直是數(shù)據(jù)挖掘領(lǐng)域研究者面臨的一大難題,而這正是本課題研究希望解決的問題。由于關(guān)聯(lián)規(guī)則挖掘領(lǐng)域計(jì)算量大,I/O交互集中的特點(diǎn),原有的串并行方法在解決問題時(shí)都存在著一定的缺陷。本課題的研究目的就是改進(jìn)現(xiàn)有的并行頻繁模式挖掘算法使其能夠突破現(xiàn)有算法的局限性。
　　本課題圍繞著海量并行頻繁模式發(fā)現(xiàn)問題,展開了深入研究,主

2、要研究成果可歸納為以下幾個(gè)方面:
　　本文在對(duì)現(xiàn)有串并行頻繁模式挖掘方法進(jìn)行了大量調(diào)研和深入分析基礎(chǔ)上，歸納總結(jié)了各方法的優(yōu)缺點(diǎn);在MapReduce并行計(jì)算框架下,把頻繁閉項(xiàng)集挖掘的優(yōu)化策略引入挖掘過程中,為困擾研究者多年的海量數(shù)據(jù)下低支持度閥值的頻繁模式發(fā)現(xiàn)問題提出了一種有效的解決方案,其剪枝、項(xiàng)集合并、項(xiàng)跳過等改進(jìn)策略有效地優(yōu)化了并行挖掘過程,提升了頻繁模式發(fā)現(xiàn)算法的性能。
　　本文在并行閉模式發(fā)現(xiàn)的基礎(chǔ)上進(jìn)行了進(jìn)一步

3、的優(yōu)化,提出一種挖掘中節(jié)點(diǎn)運(yùn)行負(fù)載的評(píng)價(jià)標(biāo)準(zhǔn),完善了并行集群分組方法,對(duì)集群分組方法進(jìn)行了負(fù)載均衡的優(yōu)化改進(jìn),避免了快節(jié)點(diǎn)等待慢節(jié)點(diǎn)運(yùn)行所帶來的性能損耗;深入分析了條件FP-tree的挖掘過程,將FP-Bonsai的α?剪枝應(yīng)用于并行挖掘條件FP-tree過程中,有效簡(jiǎn)化了條件FP-tree的結(jié)構(gòu),使算法性能有了進(jìn)一步的提升;引入了并行閉規(guī)則生成優(yōu)化方法,完善了算法處理的全過程。
　　基于以上研究成果,本文設(shè)計(jì)并實(shí)現(xiàn)了并行閉頻繁模