基于Hadoop平臺(tái)的并行關(guān)聯(lián)規(guī)則挖掘算法研究.pdf

1、ARM是數(shù)據(jù)挖掘的一個(gè)重要領(lǐng)域，現(xiàn)已經(jīng)得到廣泛應(yīng)用。隨著社會(huì)的快速發(fā)展，人們的生活水平越來越高，活動(dòng)越來越頻繁，產(chǎn)生的數(shù)據(jù)量越來越大，有的甚至以PB或TB級(jí)增長(zhǎng)，面對(duì)如此龐大的任務(wù)，已有的串行算法如Apriori算法或是傳統(tǒng)基于MPI及其他編程模型的并行算法如CD、DD等算法都已經(jīng)不能勝任。而2004年由Google提出的Hadoop平臺(tái)解決了傳統(tǒng)編程模型不能解決的節(jié)點(diǎn)失效問題，同時(shí)具有很好的Expansibility，動(dòng)態(tài)負(fù)載均衡性，

2、因此研究基于此平臺(tái)的并行ARM算法迫在眉睫。本文的主要工作如下:
　　1)從理論上證明DHP，Eclat，F(xiàn)P_Growth算法能夠基于Hadoop進(jìn)行并行化改進(jìn)（詳見第3章）。
　　2)對(duì)DHP算法，主要從哈希表和F_itemsets的生成兩個(gè)方面，提出基于Hadoop平臺(tái)并行改進(jìn)的策略，得到H DHP算法，并加以實(shí)現(xiàn)。同時(shí)借助Hbase數(shù)據(jù)庫(kù)將生成的F_itemsets存入其中，提高關(guān)聯(lián)規(guī)則的生成效率。然后從運(yùn)行時(shí)間，加

3、速比，可擴(kuò)展性三個(gè)方面對(duì)DHP和H_DHP算法進(jìn)行對(duì)比測(cè)試。最后在H_DHP有效性驗(yàn)證時(shí)將使用小數(shù)據(jù)進(jìn)行（詳見第4章）。
　　3)對(duì)Eclat算法，針對(duì)數(shù)據(jù)垂直分布的特點(diǎn)，提出基于Hadoop平臺(tái)并行改進(jìn)的策略，得到H_Eclat算法，加以實(shí)現(xiàn)。關(guān)聯(lián)規(guī)則的生成及H_Eclat的性能測(cè)試和有效驗(yàn)證，基本方法同H_DHP，此處不再贅述。（詳見第5章）。
　　4) FP_Growth算法構(gòu)造TP_Tree時(shí)，互不干涉，并且不生成C