基于統(tǒng)計密度的流數(shù)據(jù)頻繁模式挖掘.pdf

1、目前大部分流數(shù)據(jù)挖掘方法都是從基于靜態(tài)數(shù)據(jù)集的數(shù)據(jù)挖掘方法改進而來的。并且秉承了基于靜態(tài)數(shù)據(jù)集的數(shù)據(jù)挖掘的理念——將數(shù)據(jù)存于可控制范圍內(nèi),并在此范圍內(nèi)進行數(shù)據(jù)挖掘,因此這類流數(shù)據(jù)挖掘方法的思想是將一部分流數(shù)據(jù)存在本地,然后在基于這部分數(shù)據(jù)進行挖掘工作。但是這種思想并不完全適合用在流數(shù)據(jù)挖掘上面,也就是說現(xiàn)在的大多數(shù)基于滑動窗口,界標窗口的挖掘方法存在其固有的缺點,即只能以窗口內(nèi)的數(shù)據(jù)為基礎(chǔ)來進行挖掘。這樣就不可避免的忽略了流數(shù)據(jù)的時間波

2、動特性。還有一個缺點就是因為有存儲設(shè)備的限制,窗口的大小受到限制,這樣即便使用對流數(shù)據(jù)有一定兼顧的衰退窗口機制也同樣不能徹底解決流數(shù)據(jù)的歷史特性問題。
　　針對這些缺點,本文基于統(tǒng)計數(shù)據(jù)密度分布特性提出了一種比較適合流數(shù)據(jù)的挖掘方法,稱為PDB-FIM(ProbabilityDensityBasedFrequentItem-setMining)。算法PDB-FIM通過維持兩棵流數(shù)據(jù)信息樹的方式記錄了當前感興趣項集的頻繁信息和密度分

3、布信息,并且在查詢到達時通過對記錄信息的處理和挖掘輸出維持數(shù)據(jù)中的頻繁模式。這種方法有以下幾個特點:占用內(nèi)存少,兼顧歷史數(shù)據(jù)性好,對數(shù)據(jù)的波動性敏感等。下面是本文涉及的主要內(nèi)容:
　　首先,本文提出了算法PDB-FIM維持主存平衡的方式——通過密度信息和支持度信息剪枝的雙重策略達到貯存使用的動態(tài)平衡,并且通過維持兩棵信息樹的方式將感興趣項集的信息保存到查詢到來以前。
　　其次,本文還介紹了完全信息樹和不完全信息樹的概念,并且