面向超大規(guī)模時間序列的異常檢測.pdf

1、時間序列是對某個物理量進行等時間間隔觀測所得的數(shù)值序列，能夠反映受監(jiān)測事物的狀態(tài)、狀況。時間序列的異常檢測方法能夠檢測出時序序列中的異常，同時能夠評價異常的程度，幫助用戶了解受觀測事物的狀態(tài)與情況。時間序列的種類和規(guī)模的爆炸性增長對時間序列異常檢測提出新的要求。現(xiàn)有時間序列異常檢測方法存在檢測效果差下，檢測性能低下的問題。
　　本文提出一套面向超大時間序列的異常檢測系統(tǒng)，該系統(tǒng)結(jié)合本文提出的多種檢測方法與方案，改善現(xiàn)有時間序列異常

2、檢測存在的問題：1）超大規(guī)模時間序列中同一異常重復出現(xiàn)的概率增加，現(xiàn)有異常定義無法發(fā)現(xiàn)這類異常，本文提出基于J距離的時間序列異常定義（J-distance Discord，JDD），使用J距離作為衡量該子序列異常程度的標準，實驗表明JDD與傳統(tǒng)定義相比，能夠捕捉到更有意義異常；2）多維時間序列可用于描述復雜系統(tǒng)的多種狀態(tài)和情況，傳統(tǒng)異常檢測方法無法發(fā)現(xiàn)異常發(fā)生的原因，本文提出多維時間序列異常的檢測方案（Multi-dimensional

3、 Discord Discovery，MDD），我們首先提出異常溯源方法（Dimension Reasoning LOF，DR-LOF），通過不同維度對異常的貢獻程度分析異常發(fā)生的原因，同時起到異常溯源和數(shù)據(jù)降維的作用。MDD結(jié)合 DR-LOF與JDD形成完整的檢測方案。在云計算環(huán)境的多種異常的檢測案例表明MDD更快更有效地檢測異常以及發(fā)現(xiàn)異常發(fā)生的原因；3）為減少磁盤操作對計算時間的影響，緩解單一計算節(jié)點存儲空間對異常檢測規(guī)模的限制，

4、我們提出并行化的時間序列異常檢測方法（Parallel Discord Discovery，PDD），PDD將時間序列分段存儲在多個計算節(jié)點，并行求解子序列在所有分段內(nèi)的最近鄰距離，并通過高效地節(jié)點間通訊保證檢測結(jié)果的正確性。PDD通過分布式的異常估算方法（Distributed Discord Estimation，DDE）和剪枝技術降低計算復雜度，且通過批量處理數(shù)據(jù)、多發(fā)射的方法提高資源利用率。我們使用Apache Spark實現(xiàn)

5、PDD，在隨機時間序列數(shù)據(jù)集上的實驗證明，相對于單線程的HOTSAX檢測方法，10個計算節(jié)點使PDD獲得8倍的加速比，與基于磁盤的異常檢測方法相比，PDD的計算資源利用率提高了將近一倍；4）通過分治法加速時間序列異常檢測會使檢測結(jié)果不正確。我們提出了近似的并行化時間序列異常檢測方法（Approximated Parallel Discord Discovery，APDD），把時間序列分段并行化檢測異常，提出自適應停止條件（Adaptiv

6、e Stop Criteria，ASC）用于在兼顧檢測結(jié)果正確性的前提下降低計算復雜度。理論分析表明 APDD降低了異常檢測的計算復雜度，實驗證明APDD在單機環(huán)境下比經(jīng)典的HOTSAX檢測方法快2至14倍，APDD檢測結(jié)果的前6位與原始定義的檢測結(jié)果保持一致，且檢測結(jié)果的正確性對 APDD的并行度不敏感。
　　總之，超大規(guī)模時間序列給時間序列異常檢測帶來檢測效果與檢測性能兩方面的新挑戰(zhàn)，本文針對現(xiàn)有時間序列異常檢測方法的不足，提