基于Hadoop對Apriori算法的改進與研究.pdf

1、隨著計算機互聯(lián)網(wǎng)的快速發(fā)展，現(xiàn)代社會的信息量增長速度極快，這些信息里又積累著大量的數(shù)據(jù)，包括個人數(shù)據(jù)和工業(yè)數(shù)據(jù)，這些數(shù)據(jù)具有動態(tài)型、異構型、多樣型等特點。預計到2025年，每年產(chǎn)生的數(shù)據(jù)信息將會超過1/3的內容駐留在云平臺中，或借助云平臺處理。為了從這些海量數(shù)據(jù)中挖掘出有價值的信息，需要對這些數(shù)據(jù)進行分析和處理。如何高效存儲和分析這些數(shù)據(jù)呢？此時，云計算以其獨特的姿態(tài)登上了這一舞臺。Hadoop系統(tǒng)，一個相對成熟的開源云計算框架，它在處

2、理這些問題時，采用了分布式文件系統(tǒng)存儲這些數(shù)據(jù)，提高了讀寫速度，并擴大了存儲容量。采用了MapReduce來整合分布式文件系統(tǒng)上的數(shù)據(jù)，保證分析和處理數(shù)據(jù)的高效性。Hadoop系統(tǒng)還采用存儲冗余機制來保證數(shù)據(jù)的安全性。在這樣的背景下，論文將傳統(tǒng)數(shù)據(jù)挖掘系統(tǒng)與Hadoop框架相結合，且對挖掘系統(tǒng)中廣泛使用的關聯(lián)規(guī)則模型Apriori算法進行改進。
　　首先，論文詳細闡述了云計算、Hadoop的分布式文件系統(tǒng)（HDFS）以及MapRe

3、duce并行計算框架，設計基于Hadoop數(shù)據(jù)挖掘系統(tǒng)架構，并闡述其涉及主要模塊職責。接著，本文對關聯(lián)規(guī)則模型Apriori算法進行了分析與研究，通過將數(shù)據(jù)庫劃分的思想對經(jīng)典Apriori算法進行改進，并且運用云計算和云平臺Hadoop的相關知識，提出基于MapReduce化的改進挖掘算法。論文對改進的算法進行了MapReduce化的具體設計，完成對具體實例的分析。最后，本文通過搭建Hadoop集群進行仿真實驗。結果表明MapReduc