關聯(lián)規(guī)則數(shù)據(jù)挖掘中經典頻集算法改進的研究.pdf

1、該文從關聯(lián)規(guī)則的現(xiàn)實意義談起,充分說明了關聯(lián)規(guī)則研究的必要性以及巨大的社會和商業(yè)意義.關聯(lián)規(guī)則的頻集算法自從1993由Rakesh Agrawal和Ramakrishnan Skrikant提出之后,已經經歷了十年的研究歷程,并已成為數(shù)據(jù)挖掘的重要分支之一.為了知識的關聯(lián)性,本文對KDD(Knowledge Discovery in Databases,數(shù)據(jù)庫中的知識發(fā)現(xiàn))、數(shù)據(jù)挖掘(Data Mining)和關聯(lián)規(guī)則(Associat

2、ion Rules)等概念也作了闡述,為深入討論作了充分的準備.該文的重點在于對經典頻集算法改進的研究上.因此,通過對經典頻集算法(Apriori算法)作了詳細的闡述之后,重點研究了兩方面的改進策略,并采用了面向對象的JAVA技術來實現(xiàn)了改進中的具體細節(jié).一方面,從理論上論證了減小候選集Ck的大小對提高整個算法效率有著明顯的貢獻.另一方面,利用哈希樹來存儲數(shù)據(jù)項集,以實現(xiàn)對候選項目集的快速計數(shù).首先從理論上闡述了利用哈希樹這一傳統(tǒng)數(shù)據(jù)結

3、構在新的具體問題中的應用.然后把抽象的理論問題轉化為了面向對象編程中的實際問題來解決:分別從哈希樹的構建、元素(中間節(jié)點和葉節(jié)點)的添加、以及哈希樹遍歷等方面把整體問題進行分化解決.為了驗證我們的改進是行之有效的.我們選擇了兩個數(shù)據(jù)庫作為測試試驗床.一方面,我們采用了一種行之有效的人工合成測試數(shù)據(jù)的算法,自行產生了一個測試數(shù)據(jù)庫來模擬真實的數(shù)據(jù)庫試驗床.另一方面,我們選擇了來自www.microsoft.com的匿名用戶訪問日志作為真實

4、的測試數(shù)據(jù)源.通過將該數(shù)據(jù)庫進行了有效的改進(例如,刪去無用數(shù)據(jù)項和調整試驗數(shù)據(jù)與算法程序的應用接口等.)使其滿足我們的試驗要求.基于不同的數(shù)據(jù)試驗床,我們針對多種不同的情況對改進后的算法進行了測試.在挖掘關聯(lián)規(guī)則的同時,還得到了一系列重要的測試數(shù)據(jù).比如,當固定信任度的時候,在支持度不斷增加的情況下,會得到一系列的不同的頻集、關聯(lián)規(guī)則、以及不同的運行時間.通過對這些試驗數(shù)據(jù)的分析,得出了改進算法的穩(wěn)定收斂的結論.并在這一前提下,我們還