大規(guī)模網(wǎng)絡(luò)IP流行為特性及其測(cè)量算法研究.pdf

1、隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大，特征研究已經(jīng)成為網(wǎng)絡(luò)性能分析最主要的方向之一。通過(guò)網(wǎng)絡(luò)流量特征的研究，可以為預(yù)測(cè)網(wǎng)絡(luò)性能，QoS服務(wù)和SLA服務(wù)等應(yīng)用以及作為應(yīng)用基礎(chǔ)的網(wǎng)絡(luò)測(cè)量提供必要的支持。由于目前絕大部分互連網(wǎng)絡(luò)均使用TCP/IP協(xié)議，基于IP報(bào)文的研究一直是網(wǎng)絡(luò)流量研究的重點(diǎn)之一。作為IP報(bào)文的集合，IP流不但可以表現(xiàn)報(bào)文的特征，而且從更高層次的角度反映用戶(hù)偏好，因此目前有相當(dāng)多的文獻(xiàn)通過(guò)IP流的角度研究分析協(xié)議行為和用戶(hù)行為對(duì)網(wǎng)絡(luò)負(fù)載和性能

2、的影響。所謂IP流特性，是指在正常網(wǎng)絡(luò)中l(wèi)P流所表現(xiàn)出的一系列固有特點(diǎn)，以及這些特點(diǎn)在網(wǎng)絡(luò)中的關(guān)聯(lián)關(guān)系。作為表達(dá)IP流狀態(tài)的流長(zhǎng)分布，流速分布和流到達(dá)分布等相關(guān)特性，已經(jīng)取代IP報(bào)文成為目前研究的重點(diǎn)之一。 本文主要研究?jī)煞矫娴膬?nèi)容：首先，分析在網(wǎng)絡(luò)中不同負(fù)載狀況下IP流(主要包括TCP流，UDP流和ICMP流)的流長(zhǎng)特性，流速特性及其流到達(dá)分布特性；并分析各種流特性之間的關(guān)系，進(jìn)而闡述這些流特性所反映網(wǎng)絡(luò)運(yùn)行狀況信息，以及導(dǎo)致

3、這些特性的主要因素；其次，在綜合分析IP流各項(xiàng)特性和模型的基礎(chǔ)上，提出利用部分IP流特性，提高現(xiàn)有網(wǎng)絡(luò)測(cè)量，網(wǎng)絡(luò)安全等具體應(yīng)用性能的算法，并通過(guò)具體的實(shí)驗(yàn)證明算法的有效性和魯棒性。 在第一部分研究?jī)?nèi)容方面，本文將采集自各種不同時(shí)間、不同應(yīng)用背景和不同負(fù)載的大規(guī)模高速網(wǎng)絡(luò)的TRACE作為研究對(duì)象，使用試驗(yàn)分析的方法，對(duì)流長(zhǎng)，流速和流到達(dá)等多維具體特征分別進(jìn)行分析，然后綜合考慮它們之間的相關(guān)關(guān)系。 在流長(zhǎng)分析方面，通過(guò)對(duì)流長(zhǎng)

4、進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)其相同和相異的分布特征，本文結(jié)合TCP/IP相關(guān)協(xié)議和用戶(hù)行為，對(duì)這些特征的形成原因和干擾因素作進(jìn)一步分析和推測(cè)，并指出這些特征對(duì)IP流流長(zhǎng)分布影響程度。然后，在分析IP流長(zhǎng)分布特點(diǎn)的基礎(chǔ)上，提出大規(guī)模網(wǎng)絡(luò)狀況下IP流流長(zhǎng)分布經(jīng)驗(yàn)?zāi)Ｐ停撃Ｐ驮诒磉_(dá)大規(guī)模網(wǎng)絡(luò)IP流流長(zhǎng)分布上，其精度高于原有Pareto模型，其復(fù)雜度低于原有雙Pareto模型。論文采用Kolmogorov-Smirnov擬合優(yōu)度檢驗(yàn)對(duì)相關(guān)模型與實(shí)際TRACE

5、流長(zhǎng)分布的擬合程度進(jìn)行檢驗(yàn)，并對(duì)模型的相關(guān)參數(shù)的取值范圍做深入討論。最后，本文討論了該經(jīng)驗(yàn)?zāi)Ｐ团c現(xiàn)有模型存在的異同，分析了導(dǎo)致異同的原因，并進(jìn)一步指出IP流流長(zhǎng)分布發(fā)展可能的趨勢(shì)。 在流速分析方面，分別對(duì)TCP流、UDP流和ICMP流的平均流速?gòu)膮f(xié)議分析的角度進(jìn)行建模，從平均流速模型參數(shù)分析中，獲得在不同階段對(duì)決定IP流平均流速的若干主要影響因子。然后，通過(guò)試驗(yàn)分析的方法，對(duì)所選取的TRACE中不同協(xié)議類(lèi)型的IP流平均流速進(jìn)行統(tǒng)

6、計(jì)分析，檢驗(yàn)這些因素在實(shí)際網(wǎng)絡(luò)中，在不同流長(zhǎng)的情況下對(duì)IP流平均流速的貢獻(xiàn)，從而驗(yàn)證了本文所提出的IP流平均流速影響因子的可靠性。最后使用相關(guān)性分析的方法，討論流速與流長(zhǎng)之間的相關(guān)關(guān)系，并從IP流速模型的角度分析各種網(wǎng)絡(luò)特性，協(xié)議特征和川戶(hù)行為對(duì)不同流長(zhǎng)的IP流的影響。在流到達(dá)分析方面，本文在分析現(xiàn)有IP流到達(dá)分布研究成果的基礎(chǔ)上，首先對(duì)不同來(lái)源的大規(guī)模網(wǎng)絡(luò)的IP流到達(dá)時(shí)間間隔分布和自相關(guān)性進(jìn)行了探討，驗(yàn)證了IP流到達(dá)時(shí)間間隔均服從 W

7、eibull分布的規(guī)律，同時(shí)還發(fā)現(xiàn)隨著IP流到達(dá)密度的增加，Weibull分布的參數(shù)口拗口逐漸接近于1，則Weibull分布退化為指數(shù)分布；IP流的自相關(guān)系數(shù)隨著被考察IP流流長(zhǎng)的增加逐漸減弱，流長(zhǎng)大于100的IP流，其到達(dá)過(guò)程基本不相關(guān)。然后，本文在測(cè)量的基礎(chǔ)上，使用Poisson叢集過(guò)程對(duì)IP流到達(dá)建模，從而獲得大規(guī)模網(wǎng)絡(luò)中IP流到達(dá)與流長(zhǎng)之間存在以下關(guān)系：大規(guī)模網(wǎng)絡(luò)中，IP流到達(dá)過(guò)程存在長(zhǎng)相關(guān)關(guān)系，但流長(zhǎng)大于某個(gè)閾值的IP流的到達(dá)

8、過(guò)程基本可以認(rèn)為是 Poisson過(guò)程，并對(duì)該閾值的取值范圍進(jìn)行了討論。最后，本文使用基于離散小波的多分辨率分析方法，對(duì)來(lái)自多個(gè)網(wǎng)絡(luò)的不同流長(zhǎng)的IP流的到達(dá)情況進(jìn)行考察，驗(yàn)證了本文研究所得的結(jié)論。 第二部分的研究?jī)?nèi)容是第一部分研究的具體應(yīng)用，對(duì)前者的研究就有較強(qiáng)的依賴(lài)性。在本部分中，本文根據(jù)IP流流長(zhǎng)呈重尾分布的特性，提出了一種計(jì)數(shù)算法——MGcBF算法，該算法能針對(duì)元素出現(xiàn)頻率呈重尾分布的特定集合，采用分層多粒度計(jì)數(shù)多哈希的方

9、式存儲(chǔ)集合中元素出現(xiàn)頻率的信息。在MGCBF算法的基礎(chǔ)上，設(shè)計(jì)了流長(zhǎng)統(tǒng)計(jì)和信息維護(hù)模型，在基本不影響測(cè)量精度和測(cè)量復(fù)雜度的情況下，大幅度地節(jié)省所需存儲(chǔ)資源，并且模型具有良好的可擴(kuò)展性。在綜合IP流流長(zhǎng)和流速分布特征和相關(guān)關(guān)系的基礎(chǔ)上，本文提出了一種基于IP流特征的動(dòng)態(tài)超時(shí)機(jī)制(DToS)，針對(duì)不同流長(zhǎng)和不同特征的IP流采用不同的而且可以動(dòng)態(tài)變化的超時(shí)，在保證IP流識(shí)別的精度前提下，盡快將已經(jīng)結(jié)束的流淘汰，以節(jié)省測(cè)量系統(tǒng)的計(jì)算和存儲(chǔ)資源。