基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)及異常檢測(cè)方法研究.pdf

1、隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大和各類(lèi)網(wǎng)絡(luò)應(yīng)用的持續(xù)發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人類(lèi)生產(chǎn)生活不可或缺的基礎(chǔ)設(shè)施。與此同時(shí)，各類(lèi)網(wǎng)絡(luò)攻擊活動(dòng)也日益猖獗，給網(wǎng)絡(luò)空間安全造成了巨大隱患，例如，拒絕服務(wù)攻擊、計(jì)算機(jī)蠕蟲(chóng)、勒索病毒等。網(wǎng)絡(luò)流量異常檢測(cè)作為一種有效的網(wǎng)絡(luò)防護(hù)手段，能夠檢測(cè)未知攻擊行為，并為網(wǎng)絡(luò)態(tài)勢(shì)感知提供重要支持，近年來(lái)受到研究者越來(lái)越多的關(guān)注。迄今為止，國(guó)內(nèi)外學(xué)者已經(jīng)提出了很多不同類(lèi)型的檢測(cè)方法。其中，基于網(wǎng)絡(luò)流量分類(lèi)的方法是其中很重要的一類(lèi)。但是

2、，目前大多數(shù)網(wǎng)絡(luò)流量分類(lèi)方法都是基于傳統(tǒng)的機(jī)器學(xué)習(xí)方式，分類(lèi)性能非常依賴(lài)于流量特征的設(shè)計(jì)。如何設(shè)計(jì)一組能夠準(zhǔn)確刻畫(huà)流量特性的特征集，需要大量的人工經(jīng)驗(yàn)和特征工程技巧，仍是一個(gè)尚未解決的問(wèn)題。
　　近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等多個(gè)領(lǐng)域都取得了優(yōu)異的成果，也為網(wǎng)絡(luò)流量分類(lèi)及異常檢測(cè)的發(fā)展帶來(lái)了新的契機(jī)。本文基于深度學(xué)習(xí)的方法對(duì)上述問(wèn)題展開(kāi)研究，主要研究工作和創(chuàng)新如下:
　　1.基于表征學(xué)習(xí)的惡意流量分類(lèi)

3、方法:針對(duì)基于傳統(tǒng)機(jī)器學(xué)習(xí)的惡意流量分類(lèi)方法的特征依賴(lài)問(wèn)題，提出了一種基于表征學(xué)習(xí)的惡意流量分類(lèi)方法。與以特征工程為主的傳統(tǒng)機(jī)器學(xué)習(xí)方法不同，該方法不需要人工提取和選擇網(wǎng)絡(luò)流量的特征集，而是直接將原始流量作為深層神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，流量數(shù)據(jù)表征學(xué)習(xí)的整體過(guò)程都由深層神經(jīng)網(wǎng)絡(luò)完成，可節(jié)省大量的特征工程工作量，降低了任務(wù)的復(fù)雜度。通過(guò)多項(xiàng)實(shí)驗(yàn)確定了性能最優(yōu)的網(wǎng)絡(luò)流量表示形式為帶有全部協(xié)議層的雙向通信的網(wǎng)絡(luò)流數(shù)據(jù)。在具有三類(lèi)分類(lèi)器的兩種應(yīng)用場(chǎng)

4、景下進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，該方法在精度、查準(zhǔn)率、查全率和F1值等多個(gè)方面可滿(mǎn)足實(shí)用化需求。
　　2.基于一維CNN的端到端的加密流量分類(lèi)方法:針對(duì)基于分治策略的加密流量分類(lèi)方法難以獲取全局最優(yōu)值的問(wèn)題，提出了一種基于一維CNN的端到端的加密流量分類(lèi)方法。該方法將特征提取、特征選擇、分類(lèi)器等多個(gè)分步驟整合在一個(gè)端到端的框架內(nèi)，實(shí)現(xiàn)了自動(dòng)學(xué)習(xí)從原始輸入到期望輸出的非線(xiàn)性關(guān)系，更大可能地獲得全局最優(yōu)值。本文使用一維卷積神經(jīng)網(wǎng)絡(luò)作

5、為端到端的框架，比常用的二維卷積神經(jīng)網(wǎng)絡(luò)更加適合網(wǎng)絡(luò)流量的一維序列特性。實(shí)驗(yàn)結(jié)果表明，該方法在公開(kāi)的加密流量數(shù)據(jù)集上取得了優(yōu)異的表現(xiàn)，在4類(lèi)實(shí)驗(yàn)場(chǎng)景下的12項(xiàng)實(shí)驗(yàn)結(jié)果對(duì)比中，該方法的11項(xiàng)結(jié)果都優(yōu)于基于分治策略的通用方法。尤其是在VPN加密流量的分類(lèi)方面，本文提出的方法將查準(zhǔn)率和查全率都提高了約10％。
　　3.基于兩階段LSTM的網(wǎng)絡(luò)流量分類(lèi)方法:針對(duì)目前使用深度學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)方法沒(méi)有充分利用網(wǎng)絡(luò)流量的結(jié)構(gòu)化信息的問(wèn)題，提出

6、了一種在數(shù)據(jù)包和網(wǎng)絡(luò)流兩個(gè)層次上使用兩階段LSTM的網(wǎng)絡(luò)流量分類(lèi)方法。該方法分別使用雙向LSTM分階段地學(xué)習(xí)數(shù)據(jù)包和網(wǎng)絡(luò)流的特征，得到比較綜合全面的時(shí)序特征后再進(jìn)行分類(lèi)，實(shí)現(xiàn)更加準(zhǔn)確的網(wǎng)絡(luò)流量分類(lèi)效果。該方法充分考慮了網(wǎng)絡(luò)流量的內(nèi)部結(jié)構(gòu)組織關(guān)系，有效利用了LSTM優(yōu)秀的時(shí)序特征學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果表明，該方法在公開(kāi)的流量數(shù)據(jù)集上取得了良好效果，在精度、檢測(cè)率和誤警率等多項(xiàng)性能指標(biāo)的比較中，大部分都超過(guò)或持平了目前使用手工設(shè)計(jì)特征的通用方法

7、。
　　4.基于層次化時(shí)空特征學(xué)習(xí)的網(wǎng)絡(luò)流量異常檢測(cè)方法:針對(duì)目前網(wǎng)絡(luò)異常檢測(cè)領(lǐng)域的特征依賴(lài)和高誤警率等兩個(gè)普遍存在的問(wèn)題，提出了一種基于層次化時(shí)空特征學(xué)習(xí)的網(wǎng)絡(luò)流量異常檢測(cè)方法HAST-NAD。該方法使用CNN學(xué)習(xí)網(wǎng)絡(luò)流量的下層空間特征，使用雙向LSTM進(jìn)一步學(xué)習(xí)網(wǎng)絡(luò)流量的上層時(shí)序特征。上述特征學(xué)習(xí)過(guò)程由深層神經(jīng)網(wǎng)絡(luò)自動(dòng)完成，無(wú)需任何特征工程技術(shù)，有效避免了手工設(shè)計(jì)特征帶來(lái)的特征不準(zhǔn)確等問(wèn)題。同時(shí)，自動(dòng)學(xué)習(xí)到的特征也有效地降低了