基于大數(shù)據(jù)分析的網(wǎng)絡(luò)攻擊場景重建系統(tǒng).pdf

1、網(wǎng)絡(luò)攻擊事件的頻繁發(fā)生和入侵手段的多樣化，使得入侵檢測系統(tǒng)（IDS）每天產(chǎn)生大量誤報(bào)和冗余的告警信息，是網(wǎng)絡(luò)安全管理工作的一大難題。研究者們發(fā)現(xiàn)通過對孤立的告警信息進(jìn)行關(guān)聯(lián)分析，可以還原攻擊事件的發(fā)生過程，幫助管理員發(fā)現(xiàn)網(wǎng)絡(luò)的薄弱環(huán)節(jié)。
　　本文使用Spark集群和Hadoop生態(tài)圈的關(guān)鍵技術(shù)，完成了從數(shù)據(jù)的采集與存儲，數(shù)據(jù)傳輸?shù)接?jì)算和展示的完整架構(gòu)，能有效應(yīng)對告警數(shù)據(jù)海量化帶來的問題。在此大數(shù)據(jù)處理架構(gòu)上，本文運(yùn)用告警關(guān)聯(lián)方法對

2、網(wǎng)絡(luò)告警日志進(jìn)行分析，設(shè)計(jì)并實(shí)現(xiàn)了基于大數(shù)據(jù)分析的攻擊場景重建系統(tǒng)。本文重點(diǎn)研究因果關(guān)聯(lián)方法和概率關(guān)聯(lián)方法的算法流程，并在大數(shù)據(jù)平臺上實(shí)現(xiàn)。對于因果關(guān)聯(lián)方法，本文加入基于特征重疊的告警去冗余模塊，可以有效去除海量告警日志中重復(fù)和冗余的信息。概率關(guān)聯(lián)方法的核心是定義了 IP地址、端口和告警類別等屬性相似度計(jì)算函數(shù)，并定義各屬性最小相似度期望值和權(quán)重，計(jì)算告警整體相似度。本文將整個(gè)攻擊場景重建模型拆分成三個(gè)獨(dú)立的模塊予以處理，包括去冗余模塊