基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、企事業(yè)單位通常在網(wǎng)絡(luò)的出入口處安裝多種網(wǎng)絡(luò)安全設(shè)備以保障內(nèi)部網(wǎng)絡(luò)安全，防火墻和入侵檢測(cè)系統(tǒng)等安全設(shè)備在運(yùn)行過(guò)程中會(huì)產(chǎn)生大量的日志來(lái)記錄網(wǎng)絡(luò)事件。通過(guò)研究這些多源異構(gòu)的日志數(shù)據(jù)并從中提取網(wǎng)絡(luò)安全事件可以呈現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)，這樣能夠讓管理人員準(zhǔn)確地掌握網(wǎng)絡(luò)運(yùn)行狀況同時(shí)做出正確的網(wǎng)絡(luò)決策。網(wǎng)絡(luò)安全設(shè)備日志具有海量性、復(fù)雜性和時(shí)空關(guān)聯(lián)性等特點(diǎn)。傳統(tǒng)的網(wǎng)絡(luò)安全日志分析技術(shù)越來(lái)越難以滿足海量日志在采集、存儲(chǔ)、預(yù)處理和分析等方面的需求。大數(shù)據(jù)具有4V特

2、征:Volume(大量)、Velocity(高速)、Variety(多樣性)、Value(價(jià)值)。本文的研究目標(biāo)就是基于網(wǎng)絡(luò)安全日志的特點(diǎn)，從海量日志的采集、存儲(chǔ)、預(yù)處理和分析四個(gè)層面引入以Spark為核心的大數(shù)據(jù)技術(shù)，來(lái)開發(fā)一個(gè)速度快、伸縮性好、可擴(kuò)展、處理數(shù)據(jù)量大的網(wǎng)絡(luò)安全日志分析系統(tǒng)，從而實(shí)現(xiàn)大容量、低成本、高效率的網(wǎng)絡(luò)安全分析能力。
　　本文首先闡述了海量安全日志分析給網(wǎng)絡(luò)管理人員帶來(lái)的挑戰(zhàn)和困難，然后介紹從日志的采集、存

3、儲(chǔ)和分析等方面引入大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)。本文通過(guò)Flume和Kafka技術(shù)完成了海量網(wǎng)絡(luò)安全日志的分布式采集與傳輸，并根據(jù)實(shí)際需求對(duì)Flume源碼進(jìn)行了功能二次開發(fā)；其次，基于Spark SQL組件設(shè)計(jì)并開發(fā)了網(wǎng)絡(luò)安全日志預(yù)處理模塊，并通過(guò)該模塊順利完成對(duì)網(wǎng)絡(luò)安全日志的預(yù)處理：過(guò)濾、規(guī)范化和聚合。與此同時(shí)，本文充分利用Spark SQL和Spark Streaming等技術(shù)，結(jié)合單源日志特征匹配分析和多源日志關(guān)聯(lián)分析的方法完成對(duì)網(wǎng)絡(luò)安全日志

4、的分析，包括異常流量狀況以及網(wǎng)絡(luò)攻擊事件展示。并基于Java EE技術(shù)開發(fā)了一個(gè) Web展示和查詢界面，滿足了網(wǎng)絡(luò)管理人員對(duì)網(wǎng)絡(luò)異常事件的可視化展示和查詢需求。論文最后通過(guò)實(shí)際實(shí)驗(yàn)產(chǎn)生的網(wǎng)絡(luò)安全日志對(duì)系統(tǒng)關(guān)鍵模塊進(jìn)行了功能測(cè)試和時(shí)間性能測(cè)試，并對(duì)相關(guān)結(jié)果進(jìn)行了分析，證明基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)初步滿足了本文的設(shè)計(jì)目標(biāo)和需求。
　　本文主要的創(chuàng)新點(diǎn)如下：
　　(1)考慮到同一網(wǎng)絡(luò)攻擊事件會(huì)在多個(gè)安全設(shè)備上產(chǎn)生較多的

5、重復(fù)告警日志，為了方便后續(xù)對(duì)攻擊類日志進(jìn)行關(guān)聯(lián)分析，本文在日志預(yù)處理模塊提出了基于網(wǎng)絡(luò)安全日志的屬性相異度聚類算法。該算法以網(wǎng)絡(luò)攻擊模型對(duì)應(yīng)的日志屬性特征為基礎(chǔ)，根據(jù) IP地址和端口等屬性對(duì)不同網(wǎng)絡(luò)攻擊具有相異的重要性來(lái)設(shè)置不同的權(quán)值，從而完成網(wǎng)絡(luò)攻擊重復(fù)告警日志的聚合。最后，通過(guò)實(shí)驗(yàn)證明了該算法對(duì)重復(fù)告警日志具有很好的聚合效果。
　　(2)本文基于Spark SQL豐富的外部數(shù)據(jù)源接口和其抽象編程接口DataFrame，&nbs