骨干網(wǎng)流監(jiān)測關(guān)鍵技術(shù)研究.pdf

1、近年來，全球互聯(lián)網(wǎng)絡頻繁遭受攻擊，導致網(wǎng)絡大面積癱瘓。隨著我國經(jīng)濟的發(fā)展和網(wǎng)絡信息化水平的提高，大規(guī)模網(wǎng)絡攻擊、網(wǎng)絡經(jīng)濟犯罪等安全事件也不可避免。因此，需要對大規(guī)模網(wǎng)絡安全事件進行有效地監(jiān)控。骨干網(wǎng)監(jiān)控中，數(shù)據(jù)包級別監(jiān)測面臨著海量的數(shù)據(jù)處理，無論是系統(tǒng)的存儲能力、處理能力還是傳輸能力都受到了極大地挑戰(zhàn)。流（Flow）監(jiān)測為骨干網(wǎng)監(jiān)控開辟了新的途徑，通過把數(shù)據(jù)包歸并到流中極大地壓縮了數(shù)據(jù)量，使得對網(wǎng)絡數(shù)據(jù)的存儲、處理和傳輸更為容易。本文主

2、要研究了特定屬性流的提?。ù罅髯R別、并行及分布式大流識別、高速流識別）和基于流的網(wǎng)絡監(jiān)測系統(tǒng)及端口掃描檢測。
　　論文的主要內(nèi)容如下：
　　(1)大流識別：本文使用相對流量大小定義大流，即對于一個給定的閾值，將所有與鏈路實際傳輸總流量的比值超過一定值的流定義為大流。在該定義下，大流的識別問題等價于帶權(quán)值數(shù)據(jù)流中的頻繁項挖掘問題。由于骨干網(wǎng)鏈路速度快，對單個數(shù)據(jù)包的處理必須在納秒級完成，因此對算法的實時性要求更高。在帶權(quán)值數(shù)據(jù)

3、流的頻繁項挖掘研究中，目前還沒有單數(shù)據(jù)項最壞處理時間為O(1)的算法。本文提出一個新的帶權(quán)值數(shù)據(jù)流頻繁項挖掘算法WLC（Weighted Lossy Counting），通過設定合適的參數(shù)值能夠提供單數(shù)據(jù)項最壞處理時間為O(1)的處理速度。WLC采用一個部分排序的數(shù)據(jù)結(jié)構(gòu)POSS（Partially-Ordered-Stream-Summary），能夠在保證處理速度的同時，盡量降低算法的存儲開銷。通過實際的互聯(lián)網(wǎng)數(shù)據(jù)進行對比實驗，結(jié)果表

4、明：與現(xiàn)有的算法相比，WLC具有更快的處理速度，同時算法的實際存儲開銷遠小于其理論上界。
　　(2)并行及分布式大流識別：近年來多核處理器飛速發(fā)展，為充分挖掘多核帶來的計算潛力，本文又研究了帶權(quán)值數(shù)據(jù)流頻繁項挖掘算法的并行化方法。首先設計了一個細粒度加鎖法（Fine-grained Lock Method），通過實驗發(fā)現(xiàn)存在很高的競爭開銷。這是因為當共享的資源被一個線程占用時，其他所有需要使用該資源的線程都必須等待。為了盡量減少等

5、待，又提出了一個精度合成法（Precision Integrated Method，PRIM），其中每個線程均有獨占的數(shù)據(jù)結(jié)構(gòu)，不需要共享任何數(shù)據(jù)或者信息。PRIM采用了數(shù)據(jù)分解（數(shù)據(jù)并行）的并行化方法，為得到正確的全局頻繁項，需要對各線程中的數(shù)據(jù)項進行匯聚。PRIM對本地線程中的數(shù)據(jù)項進行預判，只有當它有可能為頻繁項時才將其發(fā)送到匯聚線程進行匯聚，因此大大地降低了由匯聚帶來的開銷。通過實際的互聯(lián)網(wǎng)數(shù)據(jù)進行對比實驗，結(jié)果表明：PRIM能

6、夠提供較好的加速比。最后，又給出了PRIM在分布式大流監(jiān)控中的應用。
　　(3)高速流識別：當前的高速流識別算法無法根據(jù)用戶的需求控制識別精度，并且需要存儲抽樣到的每一條流，導致存儲開銷較大。為此，本文提出了能夠控制識別精度和降低存儲開銷的高速流識別算法TSPRT（Truncated Sequential Probability Ratio Test）。TSPRT不僅可以通過設定參數(shù)控制識別精度，而且可以通過序貫檢驗提前淘汰低速流

7、和識別高速流，從而降低存儲開銷和減少識別時間。為方便用戶設定參數(shù)，本文提出了兩種參數(shù)選取方法：存儲開銷優(yōu)化法（TSPRT-M）和識別時間優(yōu)化法（TSPRT-T），同時又對TSPRT的高速流識別精度進行了理論分析。通過實際的互聯(lián)網(wǎng)數(shù)據(jù)進行對比實驗，結(jié)果表明：TSPRT能夠有效地降低存儲開銷，減少所需的識別時間。
　　(4)基于流的網(wǎng)絡監(jiān)測系統(tǒng)及端口掃描檢測：當前已有許多基于流的網(wǎng)絡監(jiān)測系統(tǒng)，但是僅支持大規(guī)模存儲，或者僅支持實時檢測，

8、本文設計并實現(xiàn)了一個基于流的網(wǎng)絡監(jiān)測原型系統(tǒng)，既能支持大規(guī)模存儲又能支持實時檢測。同時針對當前骨干網(wǎng)上端口掃描檢測的漏報率和誤報率較高的問題，本文又提出了一個基于流的端口掃描檢測算法TFDS（Time Based Flow Size Distribution Sequential Hypothesis Testing）。由于多數(shù)掃描主機的流為由1到2個數(shù)據(jù)包組成的小流，因此TFDS采用流大小分布（Flow Size Distributi