ToP-K頻繁項集挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是研究從大量數(shù)據(jù)中發(fā)現(xiàn)有用知識的理論與方法，它是目前國際上數(shù)據(jù)庫和信息決策領(lǐng)域的最前沿研究方向之一。關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘中一個較早的、有意義的研究課題之一。在關(guān)聯(lián)規(guī)則的挖掘過程中，頻繁項集挖掘是整個挖掘過程的基礎(chǔ)，也是整個挖掘的核心，如何高效和有效的挖掘頻繁項集一直以來就是研究人員關(guān)注的熱點。但是，在實際應(yīng)用中，由于大數(shù)據(jù)的存在和頻繁項集數(shù)量巨大，從而阻礙了頻繁項集的廣泛應(yīng)用。因此，如何對頻繁項集算法進行優(yōu)化和對頻繁項集進行壓縮成

2、為了當(dāng)前研究的一個重要方向。
　　本文首先介紹了數(shù)據(jù)挖掘的相關(guān)背景和當(dāng)前國內(nèi)外研究現(xiàn)狀，隨后簡單的介紹了關(guān)聯(lián)規(guī)則和頻繁項集的基本挖掘技術(shù)，同時，簡要分析了頻繁項集的壓縮技術(shù)和常用頻繁項集壓縮方法的比較。最后，本文提出了基于貪心策略的Top-K頻繁項集挖掘算法NFIMG算法和由NFIMG算法衍生結(jié)合閉合節(jié)點性質(zhì)剪枝的Top-K閉頻繁項集挖掘算法NCFIMG。
　　(1)本文提出的NFIMG算法。該算法基于貪心策略生成的頻繁鏈表

3、，拋棄了人工對于最小支持度的干預(yù)，只需一次遍歷數(shù)據(jù)庫操作，使用生成即所得的挖掘方式進行Top-K頻繁項集的挖掘。并且，文中通過理論證明了該算法的可行性和時間及空間的優(yōu)越性。最后，通過采用UCI數(shù)據(jù)集對比實驗證明了該算法性能的優(yōu)越。
　　(2)本文提出的挖掘Top-K頻繁閉項集的NCFIMG算法。該算法本質(zhì)上基于本文提出的NFIMG算法，同時，結(jié)合閉項集的性質(zhì)進行挖掘，過程中依據(jù)的“閉合節(jié)點”引理進行剪枝操作。之后，本文在理論證明了

4、該算法的正確性，通過對比試驗證明了該算法在時間和空間上優(yōu)越性。同時，該算法思路清晰，易于實現(xiàn)，并且可以和NFIMG算法在挖掘過程中進行挖掘類型轉(zhuǎn)換。
　　本文對所提出的算法進行了廣泛的對比試驗。分別在UCI機器學(xué)習(xí)庫中的多個數(shù)據(jù)集以及IBM數(shù)據(jù)生成器上生成的數(shù)據(jù)集上進行了對比試驗。實驗結(jié)果表明，與Apriori，NApriori算法相比，本文所提出的NFIMG算法在空間復(fù)雜性和時間復(fù)雜性都要略遜一籌。同時，改進算法NCFIMG在與