數(shù)據(jù)流聚類及電信數(shù)據(jù)流管理.pdf

1、復(fù)旦大學(xué)博士學(xué)位論文數(shù)據(jù)流降類及電信數(shù)據(jù)流管理姓名：常建龍申請學(xué)位級別：博士專業(yè)：計(jì)算機(jī)軟件與理論指導(dǎo)教師：周傲英200804開銷和快速的數(shù)據(jù)處理能力。同時(shí)設(shè)計(jì)了基于該算法的電信網(wǎng)絡(luò)流量分析系統(tǒng)，驗(yàn)證了其在實(shí)際系統(tǒng)中的有效性。2針對Netflow的TopNI口]題，本文提出可以基于數(shù)據(jù)流技術(shù)來實(shí)現(xiàn)的在線網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)SMART。SMART收集多個(gè)路由器發(fā)送的NetflowV5或者V9格式的數(shù)據(jù)，并將其轉(zhuǎn)換成用戶定義的監(jiān)控流；以滑動(dòng)窗口

2、的方式查詢輸出流量構(gòu)成eWopN頻繁數(shù)據(jù)信息；監(jiān)測網(wǎng)絡(luò)流量突變；以可視化的圖形和報(bào)表形式顯示結(jié)果。SMART先進(jìn)的數(shù)據(jù)流算法技術(shù)基礎(chǔ)和完整的系統(tǒng)框架設(shè)計(jì)使得它在上海電信真實(shí)網(wǎng)絡(luò)高效穩(wěn)定地724／]、時(shí)運(yùn)行，處理速度可以達(dá)N30000fiows／s，替代了上海電信原有的流量分析系統(tǒng)。3基于PCA(PrincipalComponentsAnalysis)的分析方法，設(shè)計(jì)并實(shí)現(xiàn)了RealMon系統(tǒng)。通過對基向量L的觀察，對網(wǎng)絡(luò)SNMP數(shù)據(jù)流進(jìn)

3、行相關(guān)性分析，從而檢測出異常流量，并且不受網(wǎng)絡(luò)中毛刺的影響。系統(tǒng)可以實(shí)時(shí)監(jiān)測數(shù)千條鏈路，利用網(wǎng)絡(luò)設(shè)備不同端口流量的相關(guān)性，可以有效地協(xié)助網(wǎng)管人員發(fā)現(xiàn)網(wǎng)絡(luò)中的異常。同時(shí)為了提高系統(tǒng)的穩(wěn)定性、降低系統(tǒng)的誤報(bào)，RealMon中實(shí)現(xiàn)了針對數(shù)據(jù)流的數(shù)據(jù)清洗方法?？傊?，數(shù)據(jù)流處理技術(shù)和電信網(wǎng)絡(luò)流量分析相結(jié)合有著廣闊的發(fā)展前景。本文研究了電信網(wǎng)絡(luò)流量分析的三類問題，分別提出從算法、概要數(shù)據(jù)結(jié)構(gòu)到系統(tǒng)實(shí)現(xiàn)的完整方案。理論分析和實(shí)驗(yàn)結(jié)果表明本文算法適合于