基于邊緣測量的高速網(wǎng)絡鏈路流量測量系統(tǒng)研究.pdf

1、隨著網(wǎng)絡新業(yè)務的層出不窮和網(wǎng)絡用戶的飛速增長，網(wǎng)絡業(yè)務量有了巨大的提升，骨干網(wǎng)絡的鏈路速度已經達到1Gbps/s～10Gbps/s。目前，大多數(shù)網(wǎng)絡測量系統(tǒng)的監(jiān)測能力已經遠遠不能適應高速網(wǎng)絡。在1000Mbps/s的鏈路速度下，大多數(shù)測量系統(tǒng)其報文丟失率較高，或者根本無法正常運行。雖然少數(shù)流量測量系統(tǒng)可以通過抽樣網(wǎng)絡中的數(shù)據(jù)報文在千兆環(huán)境下運行，但是抽樣獲得的網(wǎng)絡測量數(shù)據(jù)會對網(wǎng)絡狀態(tài)刻畫帶來極大的不確定因素。 面對網(wǎng)絡規(guī)模日益龐

2、大，拓撲結構越來越復雜，網(wǎng)絡鏈路帶寬和業(yè)務量不斷的增長，由此網(wǎng)絡測量環(huán)境的提速給網(wǎng)絡測量帶來了更大的困難，加上網(wǎng)絡分析技術對測量的要求越來越高，大多數(shù)網(wǎng)絡測量系統(tǒng)已經表現(xiàn)出了它的局限性。構建一個能夠在高速網(wǎng)絡中以線速捕獲報文的測量系統(tǒng)，設計和發(fā)展一個高性能的測量平臺使它具有高效率的可測量范圍性和靈活性，用來滿足當前和未來在高速網(wǎng)絡環(huán)境中進行流量測量的需要具有重大的意義。 本論文對高速網(wǎng)絡鏈路流量測量系統(tǒng)進行了較為深入的研究，主要

3、進行了以下四方面的研究工作： （1）研究了基于邊緣測量的高速網(wǎng)絡鏈路流量測量模型，該模型中的關鍵技術包括以下三點：一是瓶頸鏈路背景流量的測量，目的是保證注入的探測包能夠較為準確地反映網(wǎng)絡的路由信息；二是數(shù)據(jù)包快速分類算法，目的是保證在邊緣測量模塊中能快速準確地將采集到的數(shù)據(jù)包歸類為所屬的流；三是邊緣測量單元中sd節(jié)點對流量測量系統(tǒng)的實現(xiàn)，目的是確保我們的思路能夠在實際中實現(xiàn)。邊緣測量模型采用分級結構包括：邊緣測量單元（EMU，e

4、dge measure unit）和網(wǎng)絡匯聚單元（NCU，network convergence unit）。EMU包括兩個部分：sd節(jié)點對流量測量部分和路由探測部分。EMU通過對接入流量進行測量獲得相關的sd節(jié)點對流量結果，并根據(jù)對該點處接入流量的抽樣結果，發(fā)送探測包獲取網(wǎng)絡路由情況，記錄一個測量周期內所有的路由測量信息，然后對測量結果進行相應的統(tǒng)計處理，并將結果傳給NCU。NCU周期性的收集、保存各個EMU的測量結果和計算結果，然后

5、進行全網(wǎng)鏈路流量計算，并根據(jù)不同的系統(tǒng)需要可以將結果回送到各個EMU處。對于一個網(wǎng)絡運營商的骨干網(wǎng)絡來說，通常其節(jié)點數(shù)并不會很多，這樣在EMU和NCU之間需要傳送的信息量并不是很大，當測量周期選擇合適，結果信息交互不太頻繁時，如5min，則既不影響測量的準確性又減少了所需的通信負荷。在該模型中，據(jù)此選擇了SNMP框架[75]用于測量控制信息的管理。NCU作為管理者周期性的輪詢各個EMU代理，并將計算所得的全網(wǎng)業(yè)務流量矩陣以通知的方式發(fā)送

6、給每一個EMU代理。EMU代理響應管理者的輪詢，將預處理后的測量結果傳送給管理者。此外管理者還可以對EMU代理進行配置管理，如啟動測量，下載測量參數(shù)等工作。EMU代理也可以利用陷阱方式報告一些故障或錯誤的發(fā)生。 （2）研究了基于回歸方程方法的瓶頸鏈路流量監(jiān)測技術，目的是監(jiān)測網(wǎng)絡中鏈路帶寬使用情況，避免鏈路阻塞等情況發(fā)生，導致主動測量的路由概率誤差較大。因為在邊緣測量模型中，我們使用主動方法獲取路由信息時，需要向網(wǎng)絡中注入探測包

7、，當瓶頸鏈路帶寬飽和時，我們注入的探測包無法達到目的或者改路，直接導致路由概率誤差急劇增大，直至邊緣測量模型失效。 （3）研究了數(shù)據(jù)包快速分類算法，在邊緣聚合流測量中，為了準確測量各鏈路業(yè)務流量，我們采用了快速包分類算法，隨著業(yè)務的細化，有必要研究多域數(shù)據(jù)包分類算法。在分類算法中針對無沖突哈希算法的不足提出了一種改進算法—稱為基于無沖突哈希和跳轉表（Non-collision Hash and Jumping Table Tri

8、e-tree，NHJTTT）的數(shù)據(jù)包分類算法。由于NHJTTT算法內存消耗仍然較大且不能支持較大的匹配規(guī)則集，論文又進一步研究了Hash算法，提出了一種基于雙哈希（Double Hash，DH）的數(shù)據(jù)包分類算法。該算法能克服常規(guī)Hash算法的用于包分類沖突率高的缺點。兩種算法具有不同的應用場合，NHJTTT包分類算法適用于軟件實現(xiàn)，用于分類規(guī)則數(shù)少的環(huán)境。而DH算法適合于軟件實現(xiàn)，用于分類規(guī)則較多的場合。 （4）研究了邊緣測量

9、單元中sd節(jié)點對流量測量系統(tǒng)，該系統(tǒng)采用軟件方法實現(xiàn)，并且將測量流量模塊作為系統(tǒng)模塊，有效地提高了數(shù)據(jù)包采集速度，避免了丟包的發(fā)生。經測試，Tcpdump單位時間內處理數(shù)據(jù)包的數(shù)量大致在每秒二十四萬，我們開發(fā)的流量測量系統(tǒng)單位時間內處理數(shù)據(jù)包的數(shù)量大致在每秒四十三萬。而目前Internet中的高速網(wǎng)絡（1000Mbit/s）單位時間內的數(shù)據(jù)包數(shù)目大約在78000~355000 packets/s之間，這里構建的流量測量系統(tǒng)完全可以勝任在