面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘精確度研究.pdf

1、當(dāng)今時代是信息的時代是數(shù)字化的時代,隨著通信、互聯(lián)網(wǎng)的發(fā)展,社會各行各業(yè)存儲的數(shù)據(jù)越來越龐大,在這種背景下,一種新的數(shù)據(jù)形式——數(shù)據(jù)流引起了計算機(jī)從業(yè)人員的關(guān)注。如何在海洋一樣廣闊的數(shù)據(jù)流中準(zhǔn)確的挖掘有價值的信息成為了數(shù)據(jù)挖掘研究工作新的挑戰(zhàn)。面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的新形式,近些年來的研究熱點,被廣泛的應(yīng)用于網(wǎng)絡(luò)通信、設(shè)備維護(hù)、證券交易等領(lǐng)域,對于社會的生產(chǎn)和日常生活有著重要的意義。
　　 數(shù)據(jù)挖掘工作者對數(shù)據(jù)流的關(guān)

2、聯(lián)規(guī)則挖掘工作展開了大量的相關(guān)研究,對數(shù)據(jù)挖掘的思想、流程、算法提出了許多新的設(shè)計。然而這些方法大都把主要的研究工作放在了挖掘的過程、數(shù)據(jù)處理等方面,忽略了對于關(guān)聯(lián)規(guī)則挖掘結(jié)果精確度的關(guān)注,同時在對挖掘過程的設(shè)計中,對于數(shù)據(jù)準(zhǔn)確性的研究也比較有限。數(shù)據(jù)挖掘的目的是獲得可信的、準(zhǔn)確的、有價值的信息,由于在數(shù)據(jù)流環(huán)境下的挖掘只能夠得到近似的挖掘結(jié)果,因此,挖掘結(jié)果的精確度將是評價挖掘的關(guān)鍵指標(biāo)。
　　 本文圍繞著提高挖掘結(jié)果精確度的

3、目的,提出了面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘的方法,在數(shù)據(jù)流的獲取、處理以及信息的發(fā)現(xiàn)等挖掘流程的設(shè)計過程中,從處理細(xì)節(jié)入手,將提高挖掘精確度的思想貫穿其中。本文對數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘的工作主要分為三個部分的研究成果:數(shù)據(jù)獲取部分、數(shù)據(jù)存儲部分和數(shù)據(jù)挖掘部分,圍繞著如何提高挖掘精確度,對每一個部分的設(shè)計進(jìn)行了詳細(xì)的描述。
　　 首先,在數(shù)據(jù)獲取部分提出了使用滑動時間窗口模型獲取數(shù)據(jù),并按照每個窗口將數(shù)據(jù)流分割成為事務(wù)形式,這個模型既符合了

4、數(shù)據(jù)流的特點,又滿足了頻繁項集挖掘?qū)?shù)據(jù)的要求。
　　 其次,數(shù)據(jù)存儲模型由數(shù)據(jù)存儲結(jié)構(gòu)、數(shù)據(jù)更新算法和最大誤差的選取三部分組成。通過對經(jīng)典算法FP-growth算法中FP樹的改進(jìn),本文提出了一個新的數(shù)據(jù)存儲結(jié)構(gòu)FP-Atree,這個存儲結(jié)構(gòu)符合了只能一遍讀取數(shù)據(jù)的數(shù)據(jù)環(huán)境要求,節(jié)省了數(shù)據(jù)存儲空間,簡化了數(shù)據(jù)邏輯,壓縮了存儲體積。數(shù)據(jù)更新算法把整個數(shù)據(jù)存儲時間劃分為多個時間框,在時間框結(jié)束時對FP-Atree進(jìn)行剪枝,刪除支持度

5、小于最大誤差的項集,從而保證了有限的空間資源的到充分的利用,避免了因為數(shù)據(jù)流的無邊界性而導(dǎo)致的存儲數(shù)據(jù)的無限擴(kuò)張。
　　 第三部分為最大誤差的選取,研究中使用了多項式近似的策略,發(fā)現(xiàn)了最大誤差與環(huán)境資源參數(shù)之間的關(guān)系,既有效地控制了空間資源,又盡量避免了有效信息的丟失,為提高挖掘結(jié)果精確度提供了保障。數(shù)據(jù)挖掘模型的主要意義在于提高了挖掘精確度,在這一模型中本文提出了基于滑動時間窗口的新閾值,最小支持度閩值S經(jīng)過修正,每個項集都有