并行關聯(lián)規(guī)則挖掘算法研究.pdf

1、在數(shù)據(jù)挖掘領域,關聯(lián)規(guī)則挖掘算法是用來解決所挖掘事務之間的聯(lián)系和相關性,該算法在商業(yè)、科研以及物流等方面得到了廣泛的應用。伴隨大數(shù)據(jù)時代的來臨,數(shù)據(jù)挖掘中所要處理海量數(shù)據(jù)維度也由簡單的一維拓展到高維。傳統(tǒng)的關聯(lián)規(guī)則挖掘算法對于海量數(shù)據(jù)的處理,在時空性能和效率方面都捉襟見肘。同時,高性能計算和云計算的快速發(fā)展為并行關聯(lián)規(guī)則挖掘算法帶來了新的機遇和挑戰(zhàn)。論文首先針對串行 FP-growth算法提出了一種并行化改進思想,其次利用高性能計算集群

2、和Hadoop不同的編程策略,對改進思想在兩平臺上進行實例化測試,測試結(jié)果表明,雖然兩平臺上都較好地降低了挖掘頻繁項集時的I/O和通信開銷,但Hadoop環(huán)境下算法測試性能更佳。論文的創(chuàng)新性工作如下:
　　(1)針對傳統(tǒng) FP-growth改進算法需要多次訪問多個數(shù)據(jù)庫,內(nèi)部處理器間通信成本高等問題,提出了一種改進的并行FP-growth算法。該算法利用一種已存在的高效樹的重構(gòu)機制,對初始化的FP-tree進行重構(gòu),進而降低挖掘頻

3、繁項集時的I/O開銷,同時,該算法僅需對數(shù)據(jù)庫進行一次訪問,較好地降低了時間開銷。
　　(2)針對傳統(tǒng)并行頻繁項集挖掘算法往往基于單一的MPI(Message Passing Interface)編程模式不能取得理想的性能,提出了一種基于MPI/OpenMP混合編程的并行FP-growth算法。該方法結(jié)合高性能計算集群,采用MPI/OpenMP混合編程模式,在高性能計算分布式集群環(huán)境中移植IPF算法,利用OpenMP在節(jié)點內(nèi)核間多

4、核并行建立數(shù)據(jù)庫,MPI進行進程間計算結(jié)果的傳遞。測試結(jié)果表明,移植的算法具有較好的加速比,可擴展性強。
　　(3)針對傳統(tǒng)高性能計算集群不能有效處理節(jié)點失效、負載均衡等問題,提出了一種基于 Hadoop平臺的并行 FP-growth算法。該方法在 Hadoop平臺中移植 IPF算法,利用 Hadoop分布式文件系統(tǒng)(HDFS)存儲數(shù)據(jù),MapReduce模式實現(xiàn)并行調(diào)度以及負載均衡,而且提出了一種基于Hadoop平臺的并行安全架