基于Hadoop的關聯(lián)規(guī)則挖掘算法分析.pdf

1、隨著信息技術的發(fā)展和互聯(lián)網領域的革新，大數(shù)據(jù)研究已經成為熱點問題。關聯(lián)規(guī)則在尋找數(shù)據(jù)的關聯(lián)性起到了非常重要的作用，是數(shù)據(jù)挖掘中的一種重要研究方法。其核心問題是如何獲取頻繁集并據(jù)此找出不同項目的相關關系。Hadoop作為云計算最為核心的分布式計算框架，集高效性，可擴展性，低成本等優(yōu)點于一身，已經成為大數(shù)據(jù)最佳計算模式之一。
　　本文以經典關聯(lián)規(guī)則算法Apriori和Fp-Growth為基礎，在分析其Hadoop并行化運行優(yōu)缺點的基礎

2、上，提出了Apriori的Hadoop并行化的改進算法。同時，將Fp-Growth的Hadoop并行化算法應用于搜索引擎主要研究內容如下：⑴對于 Apriori算法在事務壓縮、減少掃描次數(shù)、簡化候選集生成方面進行改進。提出了以元素“0”和“1”表示事務的布爾矩陣模型，引入權值維度，壓縮了相同事務的矩陣規(guī)模。動態(tài)地進行剪枝，以矩陣的“與”運算作為候選集合生成的計算方法。將改進算法結合Hadoop框架進行并行化實現(xiàn)，實驗表明該算法適合大規(guī)模