基于統(tǒng)計(jì)密度的流數(shù)據(jù)頻繁模式挖掘.pdf

1、目前大部分流數(shù)據(jù)挖掘方法都是從基于靜態(tài)數(shù)據(jù)集的數(shù)據(jù)挖掘方法改進(jìn)而來的。并且秉承了基于靜態(tài)數(shù)據(jù)集的數(shù)據(jù)挖掘的理念——將數(shù)據(jù)存于可控制范圍內(nèi),并在此范圍內(nèi)進(jìn)行數(shù)據(jù)挖掘,因此這類流數(shù)據(jù)挖掘方法的思想是將一部分流數(shù)據(jù)存在本地,然后在基于這部分?jǐn)?shù)據(jù)進(jìn)行挖掘工作。但是這種思想并不完全適合用在流數(shù)據(jù)挖掘上面,也就是說現(xiàn)在的大多數(shù)基于滑動(dòng)窗口,界標(biāo)窗口的挖掘方法存在其固有的缺點(diǎn),即只能以窗口內(nèi)的數(shù)據(jù)為基礎(chǔ)來進(jìn)行挖掘。這樣就不可避免的忽略了流數(shù)據(jù)的時(shí)間波

2、動(dòng)特性。還有一個(gè)缺點(diǎn)就是因?yàn)橛写鎯?chǔ)設(shè)備的限制,窗口的大小受到限制,這樣即便使用對(duì)流數(shù)據(jù)有一定兼顧的衰退窗口機(jī)制也同樣不能徹底解決流數(shù)據(jù)的歷史特性問題。
　　針對(duì)這些缺點(diǎn),本文基于統(tǒng)計(jì)數(shù)據(jù)密度分布特性提出了一種比較適合流數(shù)據(jù)的挖掘方法,稱為PDB-FIM(ProbabilityDensityBasedFrequentItem-setMining)。算法PDB-FIM通過維持兩棵流數(shù)據(jù)信息樹的方式記錄了當(dāng)前感興趣項(xiàng)集的頻繁信息和密度分

3、布信息,并且在查詢到達(dá)時(shí)通過對(duì)記錄信息的處理和挖掘輸出維持?jǐn)?shù)據(jù)中的頻繁模式。這種方法有以下幾個(gè)特點(diǎn):占用內(nèi)存少,兼顧歷史數(shù)據(jù)性好,對(duì)數(shù)據(jù)的波動(dòng)性敏感等。下面是本文涉及的主要內(nèi)容:
　　首先,本文提出了算法PDB-FIM維持主存平衡的方式——通過密度信息和支持度信息剪枝的雙重策略達(dá)到貯存使用的動(dòng)態(tài)平衡,并且通過維持兩棵信息樹的方式將感興趣項(xiàng)集的信息保存到查詢到來以前。
　　其次,本文還介紹了完全信息樹和不完全信息樹的概念,并且