網絡核心節(jié)點異常流量檢測與控制技術研究.pdf

1、信息化的快速發(fā)展極大推動了社會的進步，信息網絡成為現代社會的主要基礎設施之一，網絡的安全和高效運行直接關系到社會活動的正常運行。伴隨著網絡的發(fā)展，網絡入侵、服務攻擊、信息竊取、病毒傳播等惡意行為在各種利益的驅動下變得越來越普遍，數量、種類和破壞程度不斷增加，其中以DDoS為代表的資源消耗型攻擊由于實現簡單和難以防御而成為互聯網安全的主要威脅，傳統的入侵檢測主要部署在用戶端，保護用戶不受攻擊，并不能消除網絡骨干節(jié)點中的惡意流量，現有核心節(jié)

2、點一般不具備惡意流量的識別和控制能力，只能任由其傳播，DDoS加上蠕蟲傳播和P2P流量消耗了核心節(jié)點的大部分資源，網絡資源更新發(fā)展的速度跟不上資源的濫用和消耗，所以在核心節(jié)點上部署流量檢測和控制機制對于保障網絡性能有重要的意義，并且進一步可以作為攻擊源定位的信息平臺。 核心節(jié)點主要實現數據的路由和交換，增加新的流量檢測和控制功能不能影響其基本工作，可以利用的計算資源和空間有限，而核心節(jié)點上的數據量巨大，對處理時間也有很高的要求，

3、加上攻擊手段的多樣性，如何快速處理數據流并保證有效性和準確性是本文的研究目標，本文重點對其中的關鍵技術進行深入的研究，主要包括以下幾個方面： 1.本文首先設計了一個應用于核心節(jié)點上針對異常流量檢測和控制的系統框架，它由三個層次組成，底層考慮到數據的單次掃描和摘要儲存使用了數據流模型，只負責檢測數據流中的超大頻度流，并不做深入的分析，可以實現在線的數據流處理；中間層使用模式識別中的聚類技術，解決檢測技術對攻擊先驗知識的依賴，可以把

4、惡意數據形成準確的聚集，這是一種準實時的處理，犧牲一定反應時間換取準確度；上層使用多層聚集控制策略，根據協議使用模式進行多層聚集，區(qū)分不同的聚集的惡意程度，從而決定資源的分配，并反饋控制效果。三個層次有機結合，可以及時發(fā)現并過濾惡意流量。 2.本文提出了一種基于窗口偏倚度的突變檢測算法，針對具體的海量數據流進行超大頻度流的檢測，利用基于hash函數的計數器矩陣，并結合指數直方圖設計了一個復式的數據摘要結構，這是一種滑動窗口模型，

5、窗口內的數據隨著每個數據的到達而變化，直方圖內的每個桶各自計算自己的偏倚度來表明其中出現大頻度流的程度，指數直方圖中大小不同的等級桶設計體現了數據的時間衰減性，指數直方圖的偏倚度可以及時、準確地反應數據流數據分布的突變。 3.在數據壓縮存儲上對傳統的計數型BloomFilters進行了兩個方面的改進，使其更加適應針對大頻度流量計數的場合，首先改進了計數型BloomFilters的計數器，提出了邏輯計數器的概念，可以在計數器滿溢時

6、侵入其它的計數器增加對數值的存儲上限，由于使用計數器最小值估計，帶來的誤判率增加很小。另外針對計數型BloomFilters使用固定數目的hash函數，不能事先確定最佳函數數目的不足，提出根據空置的計數器來估計BloomFilters的使用情況，確定最佳hash函數數目，從而減少計算量。 4.針對資源消耗型攻擊變異種類繁多，基于特征匹配難以實現的特點，提出一種兩階段聚類算法，在可視化分析惡意攻擊的基礎上，利用同一攻擊樣本點相似度

7、高，分布相似的基本特性，在第一階段基于樣本距離實現密度微聚集，在第二階段基于微聚類的分布相似度實現密度連接，能夠識別不規(guī)則形狀、區(qū)分不同密度，實現對不同攻擊樣本的準確聚類。 5.在資源控制層面，提出了一種多層聚集的限速策略，首先按照不同的協議和各個協議的使用方式把數據流劃分成不同層次的多個聚集，根據各個聚集的惡意程度決定其對資源的占用情況，對惡意聚集進行限速，具體實現上利用中間層兩階段聚類的結果來生成過濾規(guī)則，使其具有更好的準確