大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展催生了云計算平臺的出現(xiàn)，設(shè)計云服務(wù)、云架構(gòu)、云存儲等一系列解決大規(guī)模數(shù)據(jù)計算的平臺已初步形成一套系統(tǒng)規(guī)范。在網(wǎng)絡(luò)應(yīng)用服務(wù)數(shù)據(jù)量上升的今天，網(wǎng)絡(luò)安全事件增長和爆發(fā)的速度也較之從前有了爆炸式的增長。隨著人們對互聯(lián)網(wǎng)的依賴，網(wǎng)絡(luò)中的入侵行為、對網(wǎng)絡(luò)基礎(chǔ)設(shè)施破壞的攻擊事件對經(jīng)濟甚至國家安全所帶來的危害性也大大加強。如何實時準(zhǔn)確地發(fā)現(xiàn)大規(guī)模網(wǎng)絡(luò)中存在的異常流量行為，及時有效地解決安全問題是一個非常有意義的課題。
　　本文以Had

2、oop和Spark為基本框架，提出一種大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺的體系架構(gòu)，從數(shù)據(jù)采集、存儲、計算到展示等各個方面，均采用了Hadoop生態(tài)圈的相關(guān)技術(shù)實現(xiàn)。
　　在算法設(shè)計方面，本文提出了基于ISODATA的半監(jiān)督異常流量檢測算法。針對已知攻擊，該算法對異常流量類型和正常流量類型做出正確的劃分。針對未知的異常流量或網(wǎng)絡(luò)異常行為，采用聚類算法將其與正常流量分離。通過仿真實驗和校園網(wǎng)真實環(huán)境的實驗數(shù)據(jù)分析，證明了算法的有效性。