分布式關(guān)聯(lián)規(guī)則挖掘方法及應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)上購物也變的越來越普及，給用戶推薦合適商品的推薦算法也變的日益重要。頻繁模式是指頻繁地出現(xiàn)在數(shù)據(jù)集中的模式，可以作為推薦系統(tǒng)推薦依據(jù)的一部分，本課題以關(guān)聯(lián)規(guī)則算法為核心，結(jié)合其他機(jī)器學(xué)習(xí)算法處理過程組成一個基于百度貼吧用戶的個性化貼吧推薦系統(tǒng)。我們的目的在于通過優(yōu)化關(guān)聯(lián)規(guī)則算法，在分布式部署的情況下產(chǎn)生規(guī)則，然后通過處理這些規(guī)則產(chǎn)生合適的推薦信息。
　　由于單核計(jì)算機(jī)在CPU性能，內(nèi)存大小等條件的制約下關(guān)聯(lián)

2、規(guī)則算法會遇到以下兩個瓶頸：單點(diǎn)存儲瓶頸，事務(wù)數(shù)據(jù)集過大時產(chǎn)生的局部數(shù)據(jù)結(jié)構(gòu)可能溢出內(nèi)存；低支持度瓶頸，在原數(shù)據(jù)集數(shù)據(jù)量和屬性列過大而且算法設(shè)置的支持度過低時，可能產(chǎn)生的算法輸出規(guī)則集空間遠(yuǎn)大于原始數(shù)據(jù)集。所以我們采用在開源的分布式計(jì)算框架下部署關(guān)聯(lián)規(guī)則算法。傳統(tǒng)的分布式關(guān)聯(lián)規(guī)則挖掘算法會受制于節(jié)點(diǎn)之間數(shù)據(jù)相關(guān)導(dǎo)致的過高通信開銷。
　　本文采用PFP-Growth算法作為改進(jìn)的目標(biāo)算法，PFP-Growth算法通過數(shù)據(jù)分片步驟，能

3、夠保證各計(jì)算節(jié)點(diǎn)在進(jìn)行頻繁模式生成步驟時不需要進(jìn)行節(jié)點(diǎn)之間的數(shù)據(jù)交互。本研究改進(jìn)的對比算法是基于分布式思想的PFP-Growth算法，主要優(yōu)化方向在于PFP-Growth算法在數(shù)據(jù)分片之后使得各節(jié)點(diǎn)之間數(shù)據(jù)不相關(guān)但是會出現(xiàn)任務(wù)負(fù)載不均導(dǎo)致運(yùn)行時間長于算法實(shí)際執(zhí)行時間的情況。
　　本課題構(gòu)建的推薦系統(tǒng)中不直接使用原始產(chǎn)生的頻繁項(xiàng)集，本課題中首先在算法產(chǎn)生頻繁項(xiàng)集的同時生成數(shù)據(jù)集的頻繁閉項(xiàng)集和極大頻繁項(xiàng)集；然后在精簡強(qiáng)關(guān)聯(lián)規(guī)則時，本課

4、題通過一些過濾指標(biāo)過濾可信度低或者高度冗余的強(qiáng)關(guān)聯(lián)規(guī)則，最后通過對剩余關(guān)聯(lián)規(guī)則的聚類然后對每個簇選取具有代表性的若干個規(guī)則得出最終的推薦結(jié)果。
　　通過實(shí)驗(yàn)測試幾種分片方案對比時間等因素，可以對比得出提出的分配方案的有效性，但是隨著選取的分布式計(jì)算框架實(shí)現(xiàn)及原理的不同，可能會產(chǎn)生不同的調(diào)度方案導(dǎo)致時間有所差異，本研究在理論情況下比較實(shí)驗(yàn)結(jié)果。本研究利用分布式關(guān)聯(lián)規(guī)則算法應(yīng)用于真實(shí)的百度貼吧用戶數(shù)據(jù)情景下，完成針對個人用戶的貼吧推薦