演化數(shù)據(jù)流的異常檢測研究.pdf

1、隨著計算機(jī)與網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展和應(yīng)用領(lǐng)域的不斷擴(kuò)大，在傳感器網(wǎng)絡(luò)管理、金融風(fēng)險分析、互聯(lián)網(wǎng)流量管理和網(wǎng)絡(luò)入侵檢測等諸多領(lǐng)域里，處理的數(shù)據(jù)不再是有限存儲的數(shù)據(jù)集合，而是短時間內(nèi)大量到達(dá)，隨時間動態(tài)變化的演化數(shù)據(jù)流。傳統(tǒng)的數(shù)據(jù)庫技術(shù)無法使用有限空間來快速處理這種海量、高速的數(shù)據(jù)流從而獲取實時的有用信息。如何對這些場景中大量的數(shù)據(jù)流實時準(zhǔn)確地進(jìn)行異常檢測以達(dá)到相關(guān)的應(yīng)用需求已成為當(dāng)前數(shù)據(jù)流挖掘的研究熱點。 本文闡述了目前國內(nèi)外關(guān)于

2、數(shù)據(jù)流異常檢測的研究成果；在分析現(xiàn)有研究成果的基礎(chǔ)上，針對數(shù)據(jù)流的不同應(yīng)用場景，分別提出了解決方法。針對中低維的集中式數(shù)據(jù)流，采用LOF算法和SR樹索引結(jié)構(gòu)結(jié)合的方法設(shè)計了SR_IncLOF算法，特別針對高維的集中式數(shù)據(jù)流場景，提出了基于張量分解的異常檢測算法；對于分布式數(shù)據(jù)流場景，構(gòu)建了一個分布式的數(shù)據(jù)流異常檢測模型，設(shè)計了結(jié)合核密度和微簇樹數(shù)據(jù)結(jié)構(gòu)的異常檢測算法。通過不同類型數(shù)據(jù)集的實驗驗證了本文算法的異常檢測性能相比其他同類算法都

3、有較大的提高。研究內(nèi)容包括以下幾個方面： ⑴針對基于密度的LOF算法所存在的不足進(jìn)行改進(jìn)，提出一種結(jié)合SR索引樹的異常檢測優(yōu)化算法SR_IncLOF算法，能夠解決集中式的低中維數(shù)據(jù)流異常檢測問題。該算法通過SR索引樹來快速查找每個數(shù)據(jù)點的KNN集和KRNN集，采用局部異常因子LOF刻畫異常程度，不但能夠快速地增量更新，有效地解決了數(shù)據(jù)流的快速演化和一次遍歷等問題，而且復(fù)雜度較低，支持實時要求非常高的數(shù)據(jù)流異常檢測。 ⑵針

4、對高維的集中式數(shù)據(jù)流異常檢測問題，分析了基于張量分解的高維索引技術(shù)，提出了基于張量分解的異常檢測算法。該算法以張量的視角來模擬演化數(shù)據(jù)流，對此進(jìn)行張量分解，基于張量分析來近似數(shù)據(jù)流的分布，并且通過自適應(yīng)采樣能得到關(guān)于數(shù)據(jù)流的最佳近似矩陣，易于實施。 ⑶針對分布式數(shù)據(jù)流場景，提出基于核密度的分布式異常檢測技術(shù)，提出了兩種新的異常點定義，分別對應(yīng)于基于距離和基于密度的異常分布。針對此問題提出兩種有效的算法，第一個算法基于核密度估計技