基于分布式的頻繁閉合模式挖掘算法研究.pdf

1、關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘研究中的熱點問題之一，其目的是發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)項之間存在的潛在聯(lián)系。關(guān)聯(lián)規(guī)則挖掘的重點任務(wù)是頻繁模式挖掘。然而，由于頻繁模式挖掘的復(fù)雜性，業(yè)界提出了頻繁閉合模式挖掘問題。頻繁閉合模式可以唯一地確定所有頻繁模式完全集以及它們的準(zhǔn)確支持度，且其規(guī)模遠(yuǎn)遠(yuǎn)小于頻繁模式。在單處理機上的頻繁閉合模式挖掘算法研究方面，人們已經(jīng)取得了許多成果。但隨著分布式環(huán)境的日益普遍，使得傳統(tǒng)串行算法的挖掘技術(shù)已無法解決分布式下的挖掘問題，因此

2、，研究高性能的分布式頻繁閉合模式挖掘算法顯得尤為重要。
　　 本文在對典型關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行較深入研究的基礎(chǔ)上，將分布式思想引入關(guān)聯(lián)規(guī)則挖掘中，提出了兩種分布式頻繁閉合模式挖掘算法，主要內(nèi)容有以下兩部分：
　　 第一部分提出了一種基于分布式的頻繁閉合模式挖掘算法－PFCI_Miner。算法采用任務(wù)分布的主從方式，其中主處理器通過發(fā)送文中提出的前綴路徑表(PrePthx)將挖掘任務(wù)合理劃分，而從處理器借助提出的存儲樹(T

3、rac-tree)挖掘局部頻繁閉合模式，最后由主處理器挖掘出全局頻繁閉合模式集。另外，采用星形的拓?fù)浣Y(jié)構(gòu)，使數(shù)據(jù)通信只存在于主處理器與從處理器之間，而各從處理器之間無數(shù)據(jù)通信且不需要同步。實驗結(jié)果表明，PFCI_Miner算法具有較好的效率。
　　 第二部分針對數(shù)據(jù)流及分布式算法的特點，提出了一種數(shù)據(jù)流下的分布式頻繁閉合模式挖掘算法DSFC_Miner。該算法采用分段思想，挖掘每個數(shù)據(jù)流分段的臨界頻繁閉合模式，并創(chuàng)建相應(yīng)的局部F