基于MapReduce的并行頻繁項集挖掘算法研究.pdf

1、關聯(lián)規(guī)則一直是數(shù)據(jù)挖掘領域中一個研究熱點，被廣泛的應用于各個領域。隨著web2.0時代的到來，特別是以用戶為主導產生互聯(lián)網(wǎng)內容的社交網(wǎng)絡的興起，數(shù)據(jù)積累呈現(xiàn)出指數(shù)級的增長趨勢。在面對海量的數(shù)據(jù)集時高效地使用關聯(lián)規(guī)則是數(shù)據(jù)挖掘的重要任務。
　　本文對FP-Growth算法的并行化進行了研究，在已有PFP算法基礎上，設計了一種新的并行FP-Growth算法。之所以要并行化，是因為要在面對大規(guī)模數(shù)據(jù)處理時，傳統(tǒng)的FP-Growth算法是

2、基于單機的內存消耗算法，因此會出現(xiàn)內存不足或者執(zhí)行時間過長等問題?，F(xiàn)有的并行FP-Growth算法已經解決了如劃分數(shù)據(jù)庫事務集這一問題，可以保證劃分后的事務集彼此之間相獨立，但單節(jié)點在FP-tree挖掘過程中還是存在迭代次數(shù)過多，效率低下的問題，并且主節(jié)點向子節(jié)點劃分數(shù)據(jù)集時也沒有考慮負載均衡。因此，實現(xiàn)高效率并且負載均衡的并行FP-Growth算法是本文要解決的問題。本文在PFP這種原有的基于MapReduce的并行FP-Growth

3、算法之上運用剪枝策略，通過合并FP-tree中滿足條件的非頻繁路徑從而減少了其部分分支的迭代次數(shù)，加快了挖掘效率。另外，在主節(jié)點向子節(jié)點分配計算數(shù)據(jù)集時使用負載均衡策略，首先由Flist進行各頻繁項的負載估計，然后通過負載均衡算法將頻繁項分組得到Glist。通過這兩種策略的結合，本文設計了一種新的并行FP-Growth算法，并設計實驗證明該算法相對原算法在執(zhí)行效率上的提升。
　　本文將并行FP-Growth算法應用在微博好友推薦上

4、，設計了一種基于關聯(lián)則的微博好友推薦算法。以往的社交網(wǎng)絡好友推薦往往是基于用戶之間的共同好友，但是微博除了具有社交網(wǎng)絡的屬性外，更加注重的是新鮮事的傳播，因此具有潛在好友關系的用戶不僅會關注相同的人，更加會關注相同的事（以用戶對微博的轉發(fā)或者評論體現(xiàn)）。本文將這兩點結合，利用新浪微博的開放API接口獲取用戶之間的關注數(shù)據(jù)和用戶對微博的關注數(shù)據(jù)，將這里的“關注”看成一條交易，用戶看成交易項，所有交易的集合看作交易數(shù)據(jù)庫。在此基礎上進行并行