大規(guī)模高速網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，用戶數(shù)量和應(yīng)用的種類、規(guī)模以近乎指數(shù)規(guī)律增長(zhǎng)。在這種急劇膨脹的驅(qū)使下，網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)流量不斷增長(zhǎng)，網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)行為越來(lái)越復(fù)雜，網(wǎng)絡(luò)運(yùn)行也越來(lái)越容易出現(xiàn)技術(shù)性問(wèn)題。目前，研究人員主要通過(guò)網(wǎng)絡(luò)測(cè)量，獲取網(wǎng)絡(luò)中各類應(yīng)用的流量差異，以及影響網(wǎng)絡(luò)性能和服務(wù)質(zhì)量的因素，從中探尋這一龐大非線性復(fù)雜系統(tǒng)所表現(xiàn)的未知行為，進(jìn)而為技術(shù)和管理策略的改進(jìn)提供參考。被動(dòng)測(cè)量由于對(duì)網(wǎng)絡(luò)運(yùn)行無(wú)干擾，測(cè)量數(shù)據(jù)能最真實(shí)地反映網(wǎng)絡(luò)行

2、為，所以被廣泛應(yīng)用于網(wǎng)絡(luò)測(cè)量工作。但是，對(duì)于主干速率在1Gbps以上的大規(guī)模高速網(wǎng)絡(luò)，海量數(shù)據(jù)的采集、整理、分析處理等都是被動(dòng)測(cè)量需要解決的難題。 本論文的研究?jī)?nèi)容和相關(guān)工作，著重于大規(guī)模高速網(wǎng)絡(luò)被動(dòng)測(cè)量這一背景下，與測(cè)量和網(wǎng)絡(luò)行為分析密切相關(guān)的海量數(shù)據(jù)采集后的歸并整理和分析處理這兩大難點(diǎn)。論文將詳細(xì)探討多鏈路高速主干信道報(bào)文數(shù)據(jù)的歸并整理策略，研究和實(shí)現(xiàn)一個(gè)適應(yīng)大規(guī)模高速網(wǎng)絡(luò)海量數(shù)據(jù)處理需求的IPTrace數(shù)據(jù)分析系統(tǒng)-IP

3、TraceAnalysis System(IPTAS)，并利用1PTAS對(duì)采集自CERNET江蘇省網(wǎng)邊界信道的Trace進(jìn)行分析。 論文首先研究在CERNET江蘇省網(wǎng)邊界信道上采集的并行報(bào)文數(shù)據(jù)的歸并整理策略。論文介紹了2005年11月10日利用Watcher1.1系統(tǒng)采集的數(shù)據(jù)特征，并針對(duì)數(shù)據(jù)中的存在問(wèn)題，詳細(xì)分析了產(chǎn)生原因。為了將數(shù)據(jù)整理成可在研究中使用的Trace，論文設(shè)計(jì)了時(shí)戳亂序報(bào)文的排序算法和并行報(bào)文數(shù)據(jù)的多路歸并算

4、法。在此基礎(chǔ)上設(shè)計(jì)了兩個(gè)數(shù)據(jù)整理工具，并利用它們，在計(jì)算機(jī)集群系統(tǒng)上完成了數(shù)據(jù)的排序和歸并。論文還研究了Watcher1.1系統(tǒng)內(nèi)采集器之間的時(shí)鐘相對(duì)漂移對(duì)Trace中報(bào)文時(shí)戳的影響。 然后，論文設(shè)計(jì)和實(shí)現(xiàn)IP Trace數(shù)據(jù)分析系統(tǒng)(IPTAS)。論文分析了系統(tǒng)的需求，提出IPTAS應(yīng)該具有支持良好擴(kuò)展性的體系結(jié)構(gòu)，以支持在使用系統(tǒng)的過(guò)程中只經(jīng)過(guò)簡(jiǎn)易步驟就可以擴(kuò)展系統(tǒng)的數(shù)據(jù)分析功能。論文根據(jù)系統(tǒng)7個(gè)方面的需求概要設(shè)計(jì)了IPTA

5、S應(yīng)該具有的功能，對(duì)IPTAS中的關(guān)鍵問(wèn)題進(jìn)行了詳細(xì)研究，并給出具體的解決方案。在解決了關(guān)鍵問(wèn)題之后，論文依據(jù)功能設(shè)計(jì)和關(guān)鍵問(wèn)題研究中設(shè)計(jì)的體系結(jié)構(gòu)、模型與過(guò)程，實(shí)現(xiàn)了IPTAS，得到一個(gè)基于網(wǎng)絡(luò)的、支持多用戶的IP Trace數(shù)據(jù)分析系統(tǒng)。 最后，論文對(duì)IPTAS進(jìn)行測(cè)試。測(cè)試表明，符合規(guī)范的數(shù)據(jù)分析算法能夠經(jīng)過(guò)簡(jiǎn)易的過(guò)程成功擴(kuò)展到系統(tǒng)框架之下，并成功進(jìn)行數(shù)據(jù)分析，相關(guān)功能達(dá)到了預(yù)期目標(biāo)。論文利用IPTAS分析一個(gè)Trace，