大規(guī)模網(wǎng)絡(luò)IP流行為特性及其測量算法研究.pdf

1、隨著網(wǎng)絡(luò)規(guī)模的擴大，特征研究已經(jīng)成為網(wǎng)絡(luò)性能分析最主要的方向之一。通過網(wǎng)絡(luò)流量特征的研究，可以為預(yù)測網(wǎng)絡(luò)性能，QoS服務(wù)和SLA服務(wù)等應(yīng)用以及作為應(yīng)用基礎(chǔ)的網(wǎng)絡(luò)測量提供必要的支持。由于目前絕大部分互連網(wǎng)絡(luò)均使用TCP/IP協(xié)議，基于IP報文的研究一直是網(wǎng)絡(luò)流量研究的重點之一。作為IP報文的集合，IP流不但可以表現(xiàn)報文的特征，而且從更高層次的角度反映用戶偏好，因此目前有相當(dāng)多的文獻通過IP流的角度研究分析協(xié)議行為和用戶行為對網(wǎng)絡(luò)負(fù)載和性能

2、的影響。所謂IP流特性，是指在正常網(wǎng)絡(luò)中l(wèi)P流所表現(xiàn)出的一系列固有特點，以及這些特點在網(wǎng)絡(luò)中的關(guān)聯(lián)關(guān)系。作為表達IP流狀態(tài)的流長分布，流速分布和流到達分布等相關(guān)特性，已經(jīng)取代IP報文成為目前研究的重點之一。 本文主要研究兩方面的內(nèi)容：首先，分析在網(wǎng)絡(luò)中不同負(fù)載狀況下IP流(主要包括TCP流，UDP流和ICMP流)的流長特性，流速特性及其流到達分布特性；并分析各種流特性之間的關(guān)系，進而闡述這些流特性所反映網(wǎng)絡(luò)運行狀況信息，以及導(dǎo)致

3、這些特性的主要因素；其次，在綜合分析IP流各項特性和模型的基礎(chǔ)上，提出利用部分IP流特性，提高現(xiàn)有網(wǎng)絡(luò)測量，網(wǎng)絡(luò)安全等具體應(yīng)用性能的算法，并通過具體的實驗證明算法的有效性和魯棒性。 在第一部分研究內(nèi)容方面，本文將采集自各種不同時間、不同應(yīng)用背景和不同負(fù)載的大規(guī)模高速網(wǎng)絡(luò)的TRACE作為研究對象，使用試驗分析的方法，對流長，流速和流到達等多維具體特征分別進行分析，然后綜合考慮它們之間的相關(guān)關(guān)系。 在流長分析方面，通過對流長

4、進行統(tǒng)計，發(fā)現(xiàn)其相同和相異的分布特征，本文結(jié)合TCP/IP相關(guān)協(xié)議和用戶行為，對這些特征的形成原因和干擾因素作進一步分析和推測，并指出這些特征對IP流流長分布影響程度。然后，在分析IP流長分布特點的基礎(chǔ)上，提出大規(guī)模網(wǎng)絡(luò)狀況下IP流流長分布經(jīng)驗?zāi)Ｐ停撃Ｐ驮诒磉_大規(guī)模網(wǎng)絡(luò)IP流流長分布上，其精度高于原有Pareto模型，其復(fù)雜度低于原有雙Pareto模型。論文采用Kolmogorov-Smirnov擬合優(yōu)度檢驗對相關(guān)模型與實際TRACE

5、流長分布的擬合程度進行檢驗，并對模型的相關(guān)參數(shù)的取值范圍做深入討論。最后，本文討論了該經(jīng)驗?zāi)Ｐ团c現(xiàn)有模型存在的異同，分析了導(dǎo)致異同的原因，并進一步指出IP流流長分布發(fā)展可能的趨勢。 在流速分析方面，分別對TCP流、UDP流和ICMP流的平均流速從協(xié)議分析的角度進行建模，從平均流速模型參數(shù)分析中，獲得在不同階段對決定IP流平均流速的若干主要影響因子。然后，通過試驗分析的方法，對所選取的TRACE中不同協(xié)議類型的IP流平均流速進行統(tǒng)

6、計分析，檢驗這些因素在實際網(wǎng)絡(luò)中，在不同流長的情況下對IP流平均流速的貢獻，從而驗證了本文所提出的IP流平均流速影響因子的可靠性。最后使用相關(guān)性分析的方法，討論流速與流長之間的相關(guān)關(guān)系，并從IP流速模型的角度分析各種網(wǎng)絡(luò)特性，協(xié)議特征和川戶行為對不同流長的IP流的影響。在流到達分析方面，本文在分析現(xiàn)有IP流到達分布研究成果的基礎(chǔ)上，首先對不同來源的大規(guī)模網(wǎng)絡(luò)的IP流到達時間間隔分布和自相關(guān)性進行了探討，驗證了IP流到達時間間隔均服從 W

7、eibull分布的規(guī)律，同時還發(fā)現(xiàn)隨著IP流到達密度的增加，Weibull分布的參數(shù)口拗口逐漸接近于1，則Weibull分布退化為指數(shù)分布；IP流的自相關(guān)系數(shù)隨著被考察IP流流長的增加逐漸減弱，流長大于100的IP流，其到達過程基本不相關(guān)。然后，本文在測量的基礎(chǔ)上，使用Poisson叢集過程對IP流到達建模，從而獲得大規(guī)模網(wǎng)絡(luò)中IP流到達與流長之間存在以下關(guān)系：大規(guī)模網(wǎng)絡(luò)中，IP流到達過程存在長相關(guān)關(guān)系，但流長大于某個閾值的IP流的到達

8、過程基本可以認(rèn)為是 Poisson過程，并對該閾值的取值范圍進行了討論。最后，本文使用基于離散小波的多分辨率分析方法，對來自多個網(wǎng)絡(luò)的不同流長的IP流的到達情況進行考察，驗證了本文研究所得的結(jié)論。 第二部分的研究內(nèi)容是第一部分研究的具體應(yīng)用，對前者的研究就有較強的依賴性。在本部分中，本文根據(jù)IP流流長呈重尾分布的特性，提出了一種計數(shù)算法——MGcBF算法，該算法能針對元素出現(xiàn)頻率呈重尾分布的特定集合，采用分層多粒度計數(shù)多哈希的方

9、式存儲集合中元素出現(xiàn)頻率的信息。在MGCBF算法的基礎(chǔ)上，設(shè)計了流長統(tǒng)計和信息維護模型，在基本不影響測量精度和測量復(fù)雜度的情況下，大幅度地節(jié)省所需存儲資源，并且模型具有良好的可擴展性。在綜合IP流流長和流速分布特征和相關(guān)關(guān)系的基礎(chǔ)上，本文提出了一種基于IP流特征的動態(tài)超時機制(DToS)，針對不同流長和不同特征的IP流采用不同的而且可以動態(tài)變化的超時，在保證IP流識別的精度前提下，盡快將已經(jīng)結(jié)束的流淘汰，以節(jié)省測量系統(tǒng)的計算和存儲資源。