基于密度網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)流在線聚類算法研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，各個(gè)應(yīng)用領(lǐng)域都在源源不斷地產(chǎn)生數(shù)據(jù)，而這些數(shù)據(jù)通常以流的形式出現(xiàn)，例如傳感器網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)流、股票交易流、超市結(jié)算流、網(wǎng)絡(luò)通信流等。數(shù)據(jù)挖掘融合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、機(jī)器學(xué)習(xí)等技術(shù)，幫助人們從海量數(shù)據(jù)中抽取出有用的知識(shí)，從而為決策提供重要依據(jù)。
　　 數(shù)據(jù)流具有高速流動(dòng)、快速變化和潛在無限等特點(diǎn)，因此要求數(shù)據(jù)流挖掘算法必須滿足單次線性掃描、壓縮存儲(chǔ)、低的時(shí)間復(fù)雜度等要求。現(xiàn)有的數(shù)據(jù)流聚類算法，大多

2、數(shù)停留在在線收集和離線分析階段，典型的算法如CluStream。這類算法的缺點(diǎn)是實(shí)時(shí)性差，不能在線生成用戶需要的聚類，精確的聚類結(jié)果需要經(jīng)過離線分析才能獲得。
　　 針對(duì)這些問題，本文對(duì)數(shù)據(jù)流的在線聚類算法進(jìn)行了研究，主要研究?jī)?nèi)容包括以下幾方面：
　　 （1）使用密度網(wǎng)格的存儲(chǔ)結(jié)構(gòu)，將數(shù)據(jù)流的概要信息以統(tǒng)計(jì)值的形式存儲(chǔ)在網(wǎng)格單元中。通過設(shè)置密度網(wǎng)格閾值Cmax和Cmin，能有效地控制聚類質(zhì)量。密度網(wǎng)格結(jié)構(gòu)容易更新和維護(hù)，

3、從而提高在線聚類效率，并節(jié)省存儲(chǔ)空間。
　　 （2）本文采用計(jì)數(shù)型滑動(dòng)窗口來保存當(dāng)前數(shù)據(jù)流。通過調(diào)整窗口滑動(dòng)一次的步數(shù)step，可以有效地節(jié)省系統(tǒng)資源。
　　 （3）定義了網(wǎng)格鄰居和網(wǎng)格簇等概念，設(shè)計(jì)優(yōu)化的網(wǎng)格合并和更新規(guī)則，使算法能夠區(qū)分?jǐn)?shù)據(jù)密集區(qū)域和稀疏區(qū)域，并較快地找到數(shù)據(jù)分布中存在的簇，提高算法的實(shí)時(shí)性。
　　 （4）在論文研究過程中，通過大量的實(shí)驗(yàn)分析和對(duì)比，不斷調(diào)整和優(yōu)化算法，取得了較好的聚類質(zhì)量和在