面向數(shù)據(jù)流的局部異常孤立點動態(tài)挖掘算法研究及應(yīng)用.pdf

1、數(shù)據(jù)挖掘的大多數(shù)算法主要研究問題是發(fā)現(xiàn)“大模式”，孤立點發(fā)現(xiàn)算法是用來發(fā)現(xiàn)數(shù)據(jù)集中“小的模式”，孤立點是指數(shù)據(jù)集中那些偏離其他的觀測值以至于被懷疑為從不同的機制產(chǎn)生的觀測值。孤立點發(fā)現(xiàn)的任務(wù)可以描述如下：給定一個由N個數(shù)據(jù)點或?qū)ο髽?gòu)成的集合，及預(yù)期的孤立點數(shù)量n，發(fā)現(xiàn)與剩余的數(shù)據(jù)相比是最不一致的、異常的或顯著相異的前n個對象。孤立點發(fā)現(xiàn)是數(shù)據(jù)挖掘中的一個重要研究方向，已經(jīng)應(yīng)用于許多領(lǐng)域，尤其在網(wǎng)絡(luò)入侵檢測中，入侵用戶的行為明顯異于一般的

2、網(wǎng)絡(luò)用戶，基于此，本文研究了孤立點發(fā)現(xiàn)算法，并將孤立點分析算法應(yīng)用于網(wǎng)絡(luò)入侵檢測中。
　　 局部異常孤立點LOF算法可以發(fā)現(xiàn)基于不同密度的孤立點，給每個對象賦予一個局部異常因子來表示其異常程度，更貼近孤立點的本質(zhì)定義。近年來，一種新的數(shù)據(jù)應(yīng)用正受到廣泛關(guān)注，在這些應(yīng)用中數(shù)據(jù)不再保存持久不變的關(guān)系，而是規(guī)模宏大，連續(xù)，快速，隨時間變化的數(shù)據(jù)流。由于現(xiàn)實中不斷到達的網(wǎng)絡(luò)連接記錄屬于流數(shù)據(jù)，而原靜態(tài)LOF算法由于時問復(fù)雜度高且無法適應(yīng)

3、數(shù)據(jù)流的變化等原因不適合實時的數(shù)據(jù)流挖掘，本文著重研究了在數(shù)據(jù)流環(huán)境下準確識別和發(fā)現(xiàn)孤立點問題，提出了一種孤立點數(shù)目n閾值自動調(diào)整的局部異常孤立點動態(tài)挖掘算法：n-IncLOF算法。該算法既保留了原靜態(tài)LOF算法的優(yōu)點又能滿足對快速到達且不斷變化的數(shù)據(jù)流的實時連續(xù)查詢的要求。n-IncLOF基于局部異常LOF孤立點發(fā)現(xiàn)算法，考慮到孤立點在流數(shù)據(jù)發(fā)生時的不均勻性，給出了孤立點數(shù)目閾值n調(diào)整函數(shù)，分析了算法過程中數(shù)據(jù)點的插入、刪除和修改等過

4、程，給出了n-IncLOF算法描述，并分析了算法的復(fù)雜度。
　　 基于n-IncLOF算法研制了網(wǎng)絡(luò)入侵異常檢測系統(tǒng)。設(shè)計并實現(xiàn)了采用n-IncLOF算法做檢測引擎基于主機和網(wǎng)絡(luò)混合特征屬性的實時網(wǎng)絡(luò)入侵異常檢測系統(tǒng)OutlierDIDS，并通過該系統(tǒng)對KDDCUP99數(shù)據(jù)流的異常檢測實驗證明了n-IncLOF算法對孤立點數(shù)目的變化具有很強的自適應(yīng)能力，相比原算法不僅大幅提高了檢測率還降低了誤報率，同時也證明了OutlierDI