分布式關聯規(guī)則挖掘算法的研究與應用.pdf

1、近些年來信息技術飛速發(fā)展,特別是數據庫技術的更新換代,各個領域的數據都出現了爆炸性增長。與此形成鮮明對比的是,從數據中提煉出來的對人們決策有價值的知識卻十分匱乏。數據挖掘正是在這一背景下誕生的一門新學科。關聯規(guī)則挖掘是數據挖掘領域當前研究的主要熱點之一,用于確定數據集中不同數據項或屬性之間的聯系,找出有價值的多個域之間的依賴關系。關聯規(guī)則挖掘具有計算量大,I／O負載集中的特點,一方面,許多關聯規(guī)則的實際應用涉及到海量數據,即使對算法進行

2、了優(yōu)化,在單處理機上使用串行算法進行挖掘所需要的時間可能也是無法接受的；另一方面,在實際的應用領域,業(yè)務數據存儲于多個地點,各個站點之間需要共享全局規(guī)則模式,而且這些站點的數據有可能會發(fā)生一些動態(tài)地增量變化,在這種情況下,必須依靠高性能分布式關聯規(guī)則挖掘來有效地完成挖掘任務。頻繁項集挖掘是生成關聯規(guī)則的關鍵步驟,其效率問題是關聯規(guī)則挖掘中的一大難點和熱點。在前人研究的基礎上,論文基于分布式環(huán)境中的數據集,和所涉及到的算法數據結構,對全局

3、頻繁項集的挖掘問題進行了深入的分析和研究,從分布式環(huán)境挖掘中的剪枝策略、網絡通信策略和增量挖掘方法等角度著手,進一步改進了全局頻繁項集的挖掘算法,文章的最后還例舉了算法的應用。概括一下本文工作,主要包括以下幾個方面:
　　 (1)提出一種基于頻繁模式樹與最大頻繁項集的分布式全局頻繁項集挖掘算法BFM-MGFIS。該算法引入子集枚舉樹以實現有序挖掘與優(yōu)化全局剪枝策略,有效地減小了候選項集且提高了并行性,最后,通過實驗證明提出的算法

4、是有效可行的。
　　 (2)討論數據更新情況下規(guī)則模式的維護與更新,提出一種增量式的分布式全局頻繁項集挖掘算法,該算法基于CanTree前綴樹,使得頻繁模式不再依賴于頻繁1項目集序列,而是由用戶指定的某一序列,據此對數據項進行排序,這樣數據項的排序與更新無關,且樹中保留了數據庫的所有信息,仿真實驗證明提出的方法是有效可行的。
　　 (3)圍繞提出的兩種算法實現了分布式關聯規(guī)則挖掘模擬系統(tǒng),將兩種算法應用于實際的生物學數據