頻繁模式挖掘算法與剪枝策略研究.pdf

1、頻繁模式挖掘是一類基本的數(shù)據(jù)挖掘問題，可以廣泛應用于關(guān)聯(lián)規(guī)則分析、相關(guān)性分析、孤立點分析、分類和聚類等多種數(shù)據(jù)挖掘任務，是一個具有重要理論意義和廣闊應用前景的課題。本文對頻繁模式挖掘問題進行了深入研究和探索，主要內(nèi)容如下： 1.對頻繁序列挖掘問題進行深入研究，探討典型的挖掘算法-GSP、SPADE、SPAM、PrefixSpan，在此基礎(chǔ)上，應用新的擴展策略，提出了一種全新的、高效的頻繁序列挖掘算法-FINDER。該算法采用深度

2、優(yōu)先策略枚舉搜索空間，使用垂直位圖與水平位圖向量格式表示項集、事務數(shù)據(jù)庫、序列，摒棄了以往算法所采用的復雜的散列技術(shù)和數(shù)據(jù)庫的多遍掃描。FINDER算法采用頻繁項集序列擴展策略，最大限度地減少非頻繁擴展。最后采用權(quán)威數(shù)據(jù)集生成程序生成測試數(shù)據(jù)集，驗證算法的正確性與有效性。新算法FINDER的效率雖然沒有SPAM高，但是，效率接近于SPAM，與其他典型的算法相比，效率提高約3～5倍。 2.對FINDER算法進行改進，采取格理論對枚

3、舉空間進行劃分，設計并行序列挖掘算法pFINDER。pFINDER繼承了FINDER的特性，仍然沒有采用散列技術(shù)，具有較好的局部性特征。pFINDER采取中間數(shù)據(jù)的劃分技術(shù)，減少了遠程數(shù)據(jù)的同步與數(shù)據(jù)傳輸。因此，pFINDER算法具有良好的可伸縮性。 3.結(jié)合加權(quán)頻繁序列挖掘問題，改進FINDER，設計交互式加權(quán)頻繁序列挖掘算法。該算法采取項重命名機制，把加權(quán)項轉(zhuǎn)化為平凡項，使之適合于有效的頻繁序列挖掘算法，簡化了加權(quán)序列挖掘問

4、題，特別適合于交互式挖掘。該算法對于實際應用特別有效。 4.頻繁模式挖掘是一項十分復雜的I/O密集型和計算密集型的挖掘任務，搜索空間的剪枝是有效提高效率的手段。通過對頻繁模式挖掘算法搜索空間的深入研究，在認真分析現(xiàn)有剪枝策略的基礎(chǔ)上提出新的搜索空間剪枝策略SEP和IEP。同時證明了相關(guān)的定理與推論，保證了兩種剪枝策略的理論正確性。 5.對典型的頻繁模式挖掘算法進行分析，應用新的剪枝策略SEP與IEP，對文獻資料上普遍認為

5、比較高效的SPAM、SPADE、MAFIA、CHARM等頻繁模式挖掘算法進行改進，形成新的頻繁序列挖掘算法或頻繁項集挖掘算法SPAM+、SPADE+、MAFIA+、CHARM+，結(jié)合公認的測試數(shù)據(jù)集或測試集生成程序，對各算法進行實驗，并進行對比分析，以驗證剪枝策略的正確性與有效性。實驗表明，利用剪枝策略SEP、IEP改進后的算法SPAM+、SPADE+、MAFIA+、CHARM+分別比原來的算法效率提高最多達10倍，對大數(shù)據(jù)集，效率的提