基于Hadoop云平臺的頻繁項集算法的研究與實現(xiàn).pdf

1、隨著移動互聯(lián)網(wǎng)的迅猛發(fā)展，數(shù)據(jù)信息呈爆炸式的增長，致使傳統(tǒng)單機、串行的數(shù)據(jù)挖掘算法已經(jīng)無法滿足海量數(shù)據(jù)對計算和存儲資源的需求。Hadoop云計算技術(shù)作為大數(shù)據(jù)時代的技術(shù)產(chǎn)物，它憑借著高效的處理性能、可靠的存儲能力以及良好的并行化編程接口等優(yōu)勢，從根本上解決了傳統(tǒng)模式在處理大數(shù)據(jù)時存在的性能瓶頸，并極大的簡化了并行程序設(shè)計的難度。因此，在當前大數(shù)據(jù)的時代背景下，結(jié)合Hadoop在大數(shù)據(jù)處理方面的優(yōu)勢，對傳統(tǒng)頻繁項集挖掘算法進行并行化改造研

2、究就顯得格外有意義。本文研究的主要內(nèi)容如下:
　　首先，介紹了Hadoop云計算技術(shù)在處理大數(shù)據(jù)方面的優(yōu)勢以及傳統(tǒng)模式的數(shù)據(jù)挖掘算法存在的性能瓶頸。針對于現(xiàn)有FP-growth頻繁項集挖掘算法在處理大數(shù)據(jù)時存在時空效率不高的問題，提出了一種并行化改進方案，該方案采用一種“分而治之”的思想對事務(wù)數(shù)據(jù)庫進行水平分割，充分利用多節(jié)點并行處理的優(yōu)勢加速一項頻繁項集和條件模式基的求解，并且通過在原有FP-tree樹節(jié)點中新增一個帶頻繁項前綴

3、的域空間來構(gòu)建一顆新的條件模式樹NFP-tree，避免了FP-growth算法需要遞歸構(gòu)建FP-tree的不足，從而極大的提高了頻繁項集的挖掘速度。
　　其次，在傳統(tǒng)FP-growth算法并行化改進的基礎(chǔ)之上，結(jié)合Hadoop云平臺技術(shù)在處理大數(shù)據(jù)方面的性能優(yōu)勢以及MapReduce并行編程模型提供的良好并行程序接口，提出一種基于MapReduce的并行頻繁項集挖掘算法NFP-growth。該算法采用兩次MapReduce的迭代求