數據流聚類方法研究.pdf

1、隨著網絡技術的高速發(fā)展，以數據流形式呈現的數據信息大量涌現。例如傳感器網絡中傳回的傳感器數據，瀏覽網頁產生的網絡點擊流，證券買賣產生的實時交易信息等等。這些數據往往具有數據量大，潛在無限，產生速度快，數據分布隨時間變化等等特點。這些特點使得運行其上的數據挖掘算法必須滿足如下條件：(1)整個數據流只被遍歷一次；(2)每個數據必須在很短的時間被處理；(3)整個處理過程占用的存儲空間是有限的；(4)算法應盡可能考慮到數據流的演化。上述要求使得

2、傳統的聚類方法無法直接應用到數據流上。 目前，已經有一些學者提出了若干適用于數據流的聚類方法。但仍存在許多尚未解決的問題。本文的貢獻包括： (1)本文提出了一種用以記錄數據流摘要信息的數據結構DenseGrid樹(簡稱DG樹)，通過搜索樹中路經將高維空間聚類問題轉化成構造DG樹并利用這種數據結構搜索發(fā)現高密單元格的過程。實驗表明，這種聚類方法具有良好的聚類效果和可擴展性，并且可用于發(fā)現不同形狀的簇。 (2)本文提

3、出了一種可以響應不同時間段的聚類請求的高維數據流聚類方法(DGMStream)。該方法使用傾斜時間窗口技術拓展了DG樹。從而在保持DG樹聚類性能的前提下，實現了高維數據流的多時間粒度聚類。 (3)結合傳統的Parzen窗方法并引入一種經證明更加有效的歷史數據丟棄策略，本文提出了一種新的適用于數據流的概率密度估計方法(TPWD)。 (4)本文在(3)此基礎上，提出了一種計算整個數據集在低維空間投影的信息熵的方法，我們證明了