數(shù)據(jù)流聚類方法研究.pdf

1、隨著網(wǎng)絡技術的高速發(fā)展，以數(shù)據(jù)流形式呈現(xiàn)的數(shù)據(jù)信息大量涌現(xiàn)。例如傳感器網(wǎng)絡中傳回的傳感器數(shù)據(jù)，瀏覽網(wǎng)頁產(chǎn)生的網(wǎng)絡點擊流，證券買賣產(chǎn)生的實時交易信息等等。這些數(shù)據(jù)往往具有數(shù)據(jù)量大，潛在無限，產(chǎn)生速度快，數(shù)據(jù)分布隨時間變化等等特點。這些特點使得運行其上的數(shù)據(jù)挖掘算法必須滿足如下條件：(1)整個數(shù)據(jù)流只被遍歷一次；(2)每個數(shù)據(jù)必須在很短的時間被處理；(3)整個處理過程占用的存儲空間是有限的；(4)算法應盡可能考慮到數(shù)據(jù)流的演化。上述要求使得

2、傳統(tǒng)的聚類方法無法直接應用到數(shù)據(jù)流上。 目前，已經(jīng)有一些學者提出了若干適用于數(shù)據(jù)流的聚類方法。但仍存在許多尚未解決的問題。本文的貢獻包括： (1)本文提出了一種用以記錄數(shù)據(jù)流摘要信息的數(shù)據(jù)結構DenseGrid樹(簡稱DG樹)，通過搜索樹中路經(jīng)將高維空間聚類問題轉化成構造DG樹并利用這種數(shù)據(jù)結構搜索發(fā)現(xiàn)高密單元格的過程。實驗表明，這種聚類方法具有良好的聚類效果和可擴展性，并且可用于發(fā)現(xiàn)不同形狀的簇。 (2)本文提

3、出了一種可以響應不同時間段的聚類請求的高維數(shù)據(jù)流聚類方法(DGMStream)。該方法使用傾斜時間窗口技術拓展了DG樹。從而在保持DG樹聚類性能的前提下，實現(xiàn)了高維數(shù)據(jù)流的多時間粒度聚類。 (3)結合傳統(tǒng)的Parzen窗方法并引入一種經(jīng)證明更加有效的歷史數(shù)據(jù)丟棄策略，本文提出了一種新的適用于數(shù)據(jù)流的概率密度估計方法(TPWD)。 (4)本文在(3)此基礎上，提出了一種計算整個數(shù)據(jù)集在低維空間投影的信息熵的方法，我們證明了