基于分布式流數(shù)據(jù)庫(kù)系統(tǒng)的網(wǎng)絡(luò)入侵檢測(cè).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，安全性是越來(lái)越重要的一個(gè)話題。傳統(tǒng)的網(wǎng)絡(luò)安全是針對(duì)個(gè)人用戶和企業(yè)用戶，其使用的主要技術(shù)包括系統(tǒng)入侵檢測(cè)、防病毒軟件和防火墻。但這些安全措施通常并不能減少大規(guī)模通信網(wǎng)絡(luò)（即骨干網(wǎng)絡(luò)）中的非正常流量。為了從根本上降低網(wǎng)絡(luò)中的異常流量，減少或消除用戶所遭受的各類攻擊，大規(guī)模通信網(wǎng)絡(luò)與路由交換設(shè)備必須具備異常流量的檢測(cè)與識(shí)別能力。流量的異常操作通常有如下兩種判斷方式：a)判斷是否存在異常流量，這稱之為流量監(jiān)測(cè)；b)判斷流量

2、異常的類型，這稱之為流量識(shí)別。目前流量監(jiān)測(cè)按照檢測(cè)的粒度主要分為三種類型,分別是:基于package、基于flow、基于traffic。
　　本文提出了一種更細(xì)粒度的、基于動(dòng)態(tài)session window來(lái)聚合IP Flow篩選特征的算法，并結(jié)合 SVM算法來(lái)檢測(cè) DoS攻擊。同時(shí)，為了支持篩選特征的計(jì)算操作，本文擴(kuò)展了Spark Stream，使其支持Stream上的SQL查詢操作。在論文的研究過程中，對(duì)現(xiàn)有特征的選擇算法、Sp

3、ark Stream、Hive工作原理以及SVM核函數(shù)的選取進(jìn)行了充分調(diào)研，并深入了解了目前的流量檢測(cè)。首先，傳統(tǒng)的基于熵的特征選取算法，是把不同的IP源聚合在一起來(lái)計(jì)算熵信息。這樣的實(shí)現(xiàn)方式存在一定的缺陷，當(dāng)異常發(fā)生的時(shí)候，還要再進(jìn)一步分析才能知道攻擊源，被攻擊目標(biāo)。論文根據(jù)sessionkey（IPsrc, IPdes， srcPort， desPort）來(lái)聚合不同的flow數(shù)據(jù)記錄，進(jìn)而獲取網(wǎng)絡(luò)流數(shù)據(jù)的信息熵作為訓(xùn)練特征來(lái)解決該問

4、題。另外目前的研究表明，異常流量占總流量的比率和檢測(cè)效果存在正相關(guān)，即當(dāng)異常流量占比很低的時(shí)候，檢測(cè)效果一般也很差。本文提出的session window的方式很好的解決了這個(gè)問題。最后，面對(duì)瞬間產(chǎn)生的大量的數(shù)據(jù)集，目前缺少主要的底層計(jì)算模型的支持，而且在異常檢測(cè)算法方面也不夠高效，因此本文在Spark Stream的基礎(chǔ)上進(jìn)行了擴(kuò)展，支持Stream上面的SQL操作，并且支持連續(xù)查詢和窗口操作。
　　最后，本文對(duì)提出的特征選取算

5、法進(jìn)行測(cè)試，與傳統(tǒng)的ID3和 C4.5算法進(jìn)行性能對(duì)比。對(duì)于特征選擇結(jié)果好壞的判斷，最直接有效的評(píng)估標(biāo)準(zhǔn)是比較算法所選擇的特征子集與最優(yōu)特征子集的相似度。但在實(shí)際應(yīng)用中，最優(yōu)特征子集沒有評(píng)估標(biāo)準(zhǔn)。因此，為了驗(yàn)證特征選擇算法的有效性，本文使用一種間接的驗(yàn)證方法，即通過所選擇的特征子集在One-class SVM分類算法中的AUC指標(biāo)來(lái)衡量特征選擇的好壞。另外本文模擬了異常流量所占窗口總流量的不同比例，來(lái)說明基于session window