基于Storm的實(shí)時網(wǎng)絡(luò)數(shù)據(jù)流異常檢測技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的迅速發(fā)展以及中國網(wǎng)絡(luò)用戶的不斷增多，網(wǎng)絡(luò)的安全問題逐漸得到人們的重視。網(wǎng)絡(luò)已經(jīng)滲透進(jìn)人們的生活，各種網(wǎng)絡(luò)安全事件關(guān)系到人們的個人信息以及財產(chǎn)安全。對于各種網(wǎng)絡(luò)安全事件，如果能夠及時發(fā)現(xiàn)，這樣就可以采取有效的措施來降低損失甚至避免損失。另外現(xiàn)在網(wǎng)絡(luò)流量數(shù)據(jù)量龐大，怎樣有效的進(jìn)行實(shí)時計算也是需要解決的問題。本文研究特征選取技術(shù)、網(wǎng)絡(luò)數(shù)據(jù)流異常檢測技術(shù)，并基于Storm分布式計算平臺實(shí)現(xiàn)異常檢測系統(tǒng)，最終能夠及時發(fā)現(xiàn)網(wǎng)絡(luò)中的異

2、常。
　　本文首先針對當(dāng)前各種網(wǎng)絡(luò)異常流量特征繁多復(fù)雜的情況，進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)流的特征選取。針對FCBF(Fast Correlation-Based Filter)特征選取算法中只是單純的減少特征與特征之間的冗余而沒有考慮特征子集對類別的區(qū)分能力的問題進(jìn)行了改進(jìn)，在刪除特征的時候增加特征子集的評價準(zhǔn)則，從而使得特征子集更優(yōu)。
　　針對異常流量檢測問題，本文采用基于信息熵計算的異常模型。針對數(shù)據(jù)草圖Sketch數(shù)據(jù)結(jié)構(gòu)在信息熵計