一種適應(yīng)高速數(shù)據(jù)流的聚類算法研究.pdf

1、近年來，隨著通信技術(shù)和信息技術(shù)的飛速發(fā)展，人們逐漸意識到一些數(shù)據(jù)集中型的應(yīng)用。在這些應(yīng)用中，數(shù)據(jù)不再是傳統(tǒng)上基于關(guān)系模型的靜態(tài)數(shù)據(jù)，而是以轉(zhuǎn)瞬即逝的數(shù)據(jù)流形式出現(xiàn)。上述這些應(yīng)用包括:財務(wù)系統(tǒng)、網(wǎng)絡(luò)監(jiān)控、安全領(lǐng)域、通信數(shù)據(jù)管理、制造業(yè)、傳感器網(wǎng)絡(luò)等。海量數(shù)據(jù)流快速、實時、連續(xù)、有序達到。挖掘數(shù)據(jù)流中的潛在知識對傳統(tǒng)數(shù)據(jù)挖掘算法提出了新的挑戰(zhàn)。數(shù)據(jù)流聚類分析作為數(shù)據(jù)流挖掘中的一種重要的方法，近年來得到了越來越多的研究和關(guān)注。
　　

2、本文以高速帶噪聲的數(shù)據(jù)流為研究目標，設(shè)計并實現(xiàn)了一種準確、高效、適應(yīng)任意時刻數(shù)據(jù)流聚類算法。為此論文主要做了以下方面的工作:首先介紹了課題的研究背景和意義，國內(nèi)外研究現(xiàn)狀。其次研究了數(shù)據(jù)流挖掘尤其是聚類分析方面相關(guān)的理論和技術(shù)，總結(jié)了主要的數(shù)據(jù)流聚類算法的優(yōu)缺點。再次在前面工作的基礎(chǔ)上，通過修改概要數(shù)據(jù)結(jié)構(gòu)，設(shè)計了一種改進于近似搜索樹(SimilaritySearch Tree)的任意時刻數(shù)據(jù)流聚類算法(Similarity Searc

3、h with Micro-clusters Tree，SMCC-Tree)。該算法采用了兩階段算法框架，在線部分的微聚類采用帶微簇的近似搜索樹(SSMC-Tree)的數(shù)據(jù)結(jié)構(gòu)，并引入了緩存、捎帶處理策略。離線部分的宏聚類，在在線部分所得微簇的基礎(chǔ)上，采用基于密度聚類方法，得到任意形狀的微簇。
　　 由于在實際應(yīng)用中產(chǎn)生的數(shù)據(jù)流具有很高的速度，為此在上述算法的基礎(chǔ)上提出了一個局部聚類算法(LocalAggregate)，在數(shù)據(jù)流對

4、象插入樹前進行預(yù)聚類。另外，為了解決數(shù)據(jù)流中的噪聲問題，采用了一種離群點剪枝策略，在該策略中引入了潛在核心微簇隊列和離群點微簇隊列，周期性的移除離群點，從而保證聚類質(zhì)量。
　　 最后，在名為MOA(Massive Online Analysis)的開源數(shù)據(jù)流聚類框架上設(shè)計和實現(xiàn)了上述算法，并在仿真的和真實數(shù)據(jù)集上進行了相關(guān)實驗，結(jié)果表明，SSMC-Tree及其改進算法具有較好的準確性和高效性，能夠適應(yīng)高速的帶噪聲的數(shù)據(jù)流聚類，并