基于采樣特異性因子的實時異常檢測.pdf

1、隨著網(wǎng)絡技術、信息技術的發(fā)展，各個領域的信息量急劇增加，數(shù)據(jù)挖掘處理的數(shù)據(jù)規(guī)模越來越大，同時對數(shù)據(jù)實時處理需求不斷增加。特異性數(shù)據(jù)挖掘是數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的重要組成部分，特異性數(shù)據(jù)中往往蘊含著重要信息，包括噪音、故障、入侵等，隨著人們對欺詐檢測、網(wǎng)絡入侵、故障診斷等問題的關注，實時異常檢測日益受到重視。
　　 異常檢測技術有基于統(tǒng)計、聚類、距離、密度等方法，在精度和速度要求都比較高的場合下，這些方法均有一定的局限性?；诖?，本文

2、使用采樣特異性因子(sample peculiarity factor，SPF)將基于距離和密度的方法融合起來，并充分考慮數(shù)據(jù)分布的特點，進行異常檢測。實驗結果表明基于采樣特異性因子SPF的異常檢測算法在精度影響不大的情況下，節(jié)約了計算時間，提高了計算速度，適合用于實時異常檢測。
　　 論文的主要工作：
　　 (1)從數(shù)理統(tǒng)計的角度，分析采樣方法的異常檢測算法，并為其提供精度保證。將采樣算法與傳統(tǒng)的基于距離K-NN算法相

3、結合，通過分析采樣算法返回的離群點的期望和方差進行質量度量，并構造距離數(shù)據(jù)庫D’近似計算總體的情況，即用樣本方差估計總體方差，從而給基于采樣特異性因子的異常檢測提供了理論基礎。
　　 (2)提出了學習最優(yōu)采樣頻率算法。論文通過選擇一定的采樣方法，在數(shù)據(jù)集中折半學習采樣頻率，在給定置信度的前提下得到采樣頻率的置信區(qū)間，即最優(yōu)采樣頻率范圍。這樣就可以根據(jù)采樣頻率，獲取采樣子集，進行異常檢測。實驗表明，當采樣頻率在[1/32，1/16

4、]之間時，將基于采樣特異性因子的異常檢測算法與基于特異性因子和局部特異性因子的異常檢測的算法進行比較，在精度影響不大的情況下，前者明顯提高了計算速度。
　　 (3)使用采樣特異性因子和采樣頻率進行實時異常檢測。首先將原始數(shù)據(jù)集分成正常數(shù)據(jù)集(Normal Dataset)和異常數(shù)據(jù)集(Anomalous Dataset)兩類；然后在正常數(shù)據(jù)集中學習最優(yōu)采樣頻率，獲取采樣子集；在實時處理時，僅需計算當前數(shù)據(jù)的SPF值，使用排名對比