基于高級SQL查詢的分布式多維關聯(lián)規(guī)則挖掘算法的研究.pdf

1、多維關聯(lián)規(guī)則挖掘是數據挖掘的重要研究內容。與此同時，隨著Internet的迅猛發(fā)展，分布式數據庫得到廣泛應用。因此，迫切需要一種方法解決分布式環(huán)境下多維關聯(lián)規(guī)則挖掘的問題。
　　 本文提出了一種基于高級SQL查詢的MDMA（Multi-dimensional Distributed MiningAssociation rules）算法。本算法基于星型網絡拓撲結構，由中心站點和分站點組成，中心站點負責控制挖掘過程和顯示挖掘結果，分

2、站點負責挖掘局部頻繁項集和對全局頻繁模式進行局部支持度計數。本算法利用了SQL新標準中的CUBE運算符，能夠通過一次掃描局部數據庫產生全部的局部頻繁項集，使得在挖掘過程中不必通過多次迭代產生頻繁項集。本算法采用兩次知識融合技術來實現分布式頻繁模式挖掘。首先，從各個分站點挖掘出的局部頻繁項集中提取出全局候選頻繁模式，然后，中心站點根據篩選出的全局候選頻繁項集構建全局擴展頻繁模式樹。此全局擴展頻繁模式樹會從中心站點發(fā)往各個分站點。各個分站點

3、接收到全局擴展頻繁模式樹之后，利用本地局部數據庫中的數據計算各個全局候選頻繁項集的局部支持度計數并把計算結果發(fā)往中心站點。中心站點會對各個分站點發(fā)送過來的計數結果進行匯總統(tǒng)計并根據統(tǒng)計結果找出全局頻繁項集。因此，不管分站點數量為多少，各個分站點局部數據庫規(guī)模如何，此算法始終只需兩次掃描數據庫和三次網絡通信就可產生全部的全局頻繁項集。為高效地實現多維全局頻繁模式的知識融合，本算法提出了一種全新的數據結構，即全局擴展頻繁模式樹。該樹中引入了

4、復合結點，復合結點由若干元結點組成。同一復合結點內的元結點是邏輯或的關系。這種數據結構簡化了多維全局頻繁模式驗證過程中遍歷樹搜索匹配結點的過程，并提高了挖掘結果的可視化程度。MDMA算法還充分考慮了用戶的偏好，用戶可以自由決定對哪幾個屬性進行挖掘。本算法具有網絡通信量小，耗時少，簡單易行，擴展性好和考慮用戶偏好的特點。
　　 為了便于用戶利用MDMA算法進行分布式多維關聯(lián)規(guī)則數據挖掘，本文開發(fā)了基于WEB的分布式關聯(lián)規(guī)則挖掘系統(tǒng)