基于數據流的相關挖掘方法研究.pdf

1、科技的進步使得數據的產生和搜集更加容易，如何從大量數據中獲取有用的信息，以指導人類的某些生產過程和行為是數據分析領域的重要研究課題。作為數據分析的一種有效手段，數據挖掘技術能夠發(fā)現隱含在大量數據中的有趣知識，而數據流的出現給相關處理技術提出了更高的要求。數據流具有流動性、無限性和高速性等一系列不同于傳統數據的新特點，這要求相關的挖掘算法必須是高速增量的，并且能夠利用有限的內存在一定誤差范圍內得到有效的挖掘結果。
　　本文針對數據流

2、分析處理中的幾個基本問題，在廣泛查閱國內外文獻的基礎上進行了研究和分析。主要內容集中在以下兩點。
　　首先，針對數據流環(huán)境，提出了一種有效的最大頻繁模式挖掘算法DSM-Miner。算法中使用事務滑動窗口來指定每次處理的事務個數，并以衰減方式對新舊事務加以區(qū)別和對待，同時，在改進經典FP-Tree結構的基礎上提出了一種滑動窗口最大頻繁模式樹SWM-Tree，并通過動態(tài)更新SWM-Tree對模式進行增量存儲與維護。在最大頻繁模式挖掘過

3、程中采用了以對應節(jié)點為根的枚舉樹作為搜索空間，加之適當的剪枝和位項組運算方式，以及“深度優(yōu)先”搜索策略。通過多個不同數據集下的測試，證明了DSM-Miner算法在時間復雜度、空間復雜度以及可擴展性這三個方面的有效性。
　　其次，提出了一種基于密度網格的數據流聚類算法DSCBDG。DSCBDG借鑒了經典算法CluStream的兩層架構，將聚類過程劃分成在線和離線兩個子過程。在線部分采用密度網格實時維護數據流概要信息，利用動態(tài)劃分網格