基于Mahout分類器的異常流量檢測(cè)技術(shù)的研究.pdf

1、近年來，互聯(lián)網(wǎng)帶給人們豐富的共享信息資源，方便了人們的工作與生活，人們?cè)絹碓诫x不開網(wǎng)絡(luò)，網(wǎng)絡(luò)在現(xiàn)代人們的生活中扮演者越來越重要的角色。另一方面，很多人針對(duì)網(wǎng)絡(luò)進(jìn)行惡意攻擊，從中獲取利益。對(duì)于大部分普通網(wǎng)民來說，網(wǎng)絡(luò)環(huán)境日益復(fù)雜，人們不僅需要加強(qiáng)自身保護(hù)意識(shí)，更加需要網(wǎng)絡(luò)安全人員對(duì)網(wǎng)絡(luò)流量進(jìn)行維護(hù)與監(jiān)管，檢測(cè)異常網(wǎng)絡(luò)流量，從而保證網(wǎng)絡(luò)使用者的上網(wǎng)安全。因此，網(wǎng)絡(luò)異常流量檢測(cè)技術(shù)具有重大意義，也是文本的主要研究課題。
　　本文針對(duì)網(wǎng)絡(luò)

2、中數(shù)據(jù)源多維化的特點(diǎn)，將數(shù)據(jù)源多維數(shù)據(jù)的信息熵投影到不同的分類支撐向量，由于機(jī)器學(xué)習(xí)容易產(chǎn)生過度訓(xùn)練或訓(xùn)練不足這些問題，本文對(duì)比EWMA、Entropy、K-means、GMM、SVDD等異常流量檢測(cè)方法，選擇支持多維數(shù)據(jù)統(tǒng)計(jì)的非監(jiān)督式SVDD分類方法，訓(xùn)練可采用的數(shù)據(jù)集。針對(duì)訓(xùn)練分類器成本消耗大與分類檢測(cè)效果佳的沖突問題，本文選擇一種異常實(shí)時(shí)響應(yīng)訓(xùn)練的學(xué)習(xí)模式，只在有異常檢測(cè)點(diǎn)加入時(shí)，才進(jìn)行重新訓(xùn)練。不僅如此，對(duì)于訓(xùn)練數(shù)據(jù)集中異常點(diǎn)的

3、選取，采用貝葉斯網(wǎng)絡(luò)模型推理預(yù)測(cè)下一節(jié)點(diǎn)的異常概率，隨即判斷是否將異常點(diǎn)加入到訓(xùn)練集中繼續(xù)訓(xùn)練，以此整體提高異常流量檢測(cè)的效率與精度。本文主要針對(duì)的問題以及研究的創(chuàng)新點(diǎn)如下：
　?。?）針對(duì)研究過程中，異常數(shù)據(jù)集來源困難、數(shù)據(jù)分析過程復(fù)雜的客觀條件，本文選擇大數(shù)據(jù)分布式平臺(tái)環(huán)境進(jìn)行數(shù)據(jù)的處理分析。為分析分類器異常檢測(cè)能力的表現(xiàn)效果，本文對(duì)比EWMA、Entropy、K-means、GMM、SVDD等主流的異常檢測(cè)方法，最終實(shí)驗(yàn)選定

4、在多維信息熵構(gòu)建支撐向量基礎(chǔ)上，由SVDD方法對(duì)異常流量進(jìn)行檢測(cè)，能夠有優(yōu)于其他幾種方法的檢測(cè)效果。
　?。?）針對(duì)分類器數(shù)據(jù)量、訓(xùn)練地與實(shí)際應(yīng)用地點(diǎn)的不同，原始的訓(xùn)練集檢測(cè)效果不能很好地檢測(cè)新數(shù)據(jù)，且當(dāng)前重新訓(xùn)練所需要的資源消耗量大等等這些問題，本文采用異常實(shí)時(shí)響應(yīng)訓(xùn)練方法。只有在加入異常點(diǎn)時(shí)，才進(jìn)行訓(xùn)練集的重訓(xùn)練，將檢測(cè)窗口平行移動(dòng)至異常點(diǎn)，剔除最開始的檢測(cè)點(diǎn)，增加當(dāng)前適用的檢測(cè)點(diǎn)。這種方法既能提高訓(xùn)練集的適應(yīng)性與準(zhǔn)確率，還能