分布式關(guān)聯(lián)規(guī)則挖掘算法的研究與應(yīng)用.pdf

1、近些年來信息技術(shù)飛速發(fā)展,特別是數(shù)據(jù)庫技術(shù)的更新?lián)Q代,各個領(lǐng)域的數(shù)據(jù)都出現(xiàn)了爆炸性增長。與此形成鮮明對比的是,從數(shù)據(jù)中提煉出來的對人們決策有價值的知識卻十分匱乏。數(shù)據(jù)挖掘正是在這一背景下誕生的一門新學(xué)科。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域當(dāng)前研究的主要熱點(diǎn)之一,用于確定數(shù)據(jù)集中不同數(shù)據(jù)項或?qū)傩灾g的聯(lián)系,找出有價值的多個域之間的依賴關(guān)系。關(guān)聯(lián)規(guī)則挖掘具有計算量大,I／O負(fù)載集中的特點(diǎn),一方面,許多關(guān)聯(lián)規(guī)則的實際應(yīng)用涉及到海量數(shù)據(jù),即使對算法進(jìn)行

2、了優(yōu)化,在單處理機(jī)上使用串行算法進(jìn)行挖掘所需要的時間可能也是無法接受的；另一方面,在實際的應(yīng)用領(lǐng)域,業(yè)務(wù)數(shù)據(jù)存儲于多個地點(diǎn),各個站點(diǎn)之間需要共享全局規(guī)則模式,而且這些站點(diǎn)的數(shù)據(jù)有可能會發(fā)生一些動態(tài)地增量變化,在這種情況下,必須依靠高性能分布式關(guān)聯(lián)規(guī)則挖掘來有效地完成挖掘任務(wù)。頻繁項集挖掘是生成關(guān)聯(lián)規(guī)則的關(guān)鍵步驟,其效率問題是關(guān)聯(lián)規(guī)則挖掘中的一大難點(diǎn)和熱點(diǎn)。在前人研究的基礎(chǔ)上,論文基于分布式環(huán)境中的數(shù)據(jù)集,和所涉及到的算法數(shù)據(jù)結(jié)構(gòu),對全局

3、頻繁項集的挖掘問題進(jìn)行了深入的分析和研究,從分布式環(huán)境挖掘中的剪枝策略、網(wǎng)絡(luò)通信策略和增量挖掘方法等角度著手,進(jìn)一步改進(jìn)了全局頻繁項集的挖掘算法,文章的最后還例舉了算法的應(yīng)用。概括一下本文工作,主要包括以下幾個方面:
　　 (1)提出一種基于頻繁模式樹與最大頻繁項集的分布式全局頻繁項集挖掘算法BFM-MGFIS。該算法引入子集枚舉樹以實現(xiàn)有序挖掘與優(yōu)化全局剪枝策略,有效地減小了候選項集且提高了并行性,最后,通過實驗證明提出的算法

4、是有效可行的。
　　 (2)討論數(shù)據(jù)更新情況下規(guī)則模式的維護(hù)與更新,提出一種增量式的分布式全局頻繁項集挖掘算法,該算法基于CanTree前綴樹,使得頻繁模式不再依賴于頻繁1項目集序列,而是由用戶指定的某一序列,據(jù)此對數(shù)據(jù)項進(jìn)行排序,這樣數(shù)據(jù)項的排序與更新無關(guān),且樹中保留了數(shù)據(jù)庫的所有信息,仿真實驗證明提出的方法是有效可行的。
　　 (3)圍繞提出的兩種算法實現(xiàn)了分布式關(guān)聯(lián)規(guī)則挖掘模擬系統(tǒng),將兩種算法應(yīng)用于實際的生物學(xué)數(shù)據(jù)