基于分布式計(jì)算的網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng).pdf

1、隨著網(wǎng)絡(luò)的開(kāi)放性、共享性及互聯(lián)程度的擴(kuò)大，網(wǎng)絡(luò)的重要性以及對(duì)社會(huì)的影響也越來(lái)越大。Internet的迅速發(fā)展給人們帶來(lái)巨大方便的同時(shí)，也使我們面臨著各種安全事件的威脅。據(jù)統(tǒng)計(jì)，近年來(lái)針對(duì)網(wǎng)絡(luò)資源的各種攻擊帶來(lái)了巨大的經(jīng)濟(jì)損失。異常檢測(cè)作為網(wǎng)絡(luò)的安全防護(hù)體系逐漸成為網(wǎng)絡(luò)安全領(lǐng)域的研究重點(diǎn)。
　　 互聯(lián)網(wǎng)時(shí)代的數(shù)據(jù)是龐大的，尤其是大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)流量，能夠快速而精確地從海量日志數(shù)據(jù)源中檢測(cè)出異常的系統(tǒng)具有很好的市場(chǎng)前景。本文針對(duì)大量

2、數(shù)據(jù)，提出了結(jié)合分布式計(jì)算思想進(jìn)行并行處理的方法，介紹了開(kāi)源軟件平臺(tái)Hadoop在分布式并行計(jì)算方面的優(yōu)點(diǎn)，實(shí)現(xiàn)了數(shù)據(jù)預(yù)處理的具體應(yīng)用并進(jìn)行了相關(guān)實(shí)驗(yàn)。接著從對(duì)流量異常分類(lèi)的研究入手，通過(guò)對(duì)目前主要的流量攻擊的攻擊特征的分析，根據(jù)信息熵的定義，得出網(wǎng)絡(luò)信息熵能應(yīng)用于網(wǎng)絡(luò)流量異常檢測(cè)。系統(tǒng)設(shè)計(jì)了基于網(wǎng)絡(luò)信息熵的算法，結(jié)合統(tǒng)計(jì)學(xué)中的主成分分析法和子空間方法，共同實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)流量異常的檢測(cè)。
　　 本文所實(shí)現(xiàn)的實(shí)際系統(tǒng)包括數(shù)據(jù)預(yù)處理模