基于Hadoop的應用層協(xié)議識別技術研究.pdf

1、Internet的飛速發(fā)展,使得多種多樣的應用層協(xié)議不斷涌現(xiàn),導致網(wǎng)絡變得更加復雜、更加多樣化和難以管理。攻擊方式和入侵手段也層出不窮,惡意的網(wǎng)絡攻擊對網(wǎng)絡服務和信息安全產(chǎn)生了嚴重的危害。應用層協(xié)議的識別技術的提出、研究和發(fā)展,能夠較好的解決網(wǎng)絡流量實時識別和提取特征的問題。
　　考慮到安全性、靈活性等因素,很多的新應用層協(xié)議不再選擇固定的端口號來傳輸數(shù)據(jù),而是比較青睞于動態(tài)端口號,并且很多協(xié)議不具有統(tǒng)一的標準和規(guī)范,因此沒法通過

2、固定端口號來尋找到簡單快捷的統(tǒng)一分類規(guī)律?；诙丝谔柕姆诸悓τ谑褂脛討B(tài)端口的應用則不適用;基于負載的分類方法將會涉及到用戶隱私問題,時間代價高;正則表達式的提取主要通過人為分析某種應用層協(xié)議的規(guī)范文檔來提取。在數(shù)據(jù)爆炸的今天,人為分析協(xié)議進行特征提取變得日益困難。
　　本文針對當前應用層協(xié)議識別的困難和提取遇到的問題,提出基于Hadoop的應用層協(xié)議識別系統(tǒng)。利用并行處理海量數(shù)據(jù)的Hadoop來識別應用層數(shù)據(jù)包,并且可以提取出應用

3、層數(shù)據(jù)包的特征串,實現(xiàn)了對應用層數(shù)據(jù)包特征的準確提取和識別。本文主要研究內容如下:
　　首先,研究現(xiàn)有的應用層協(xié)議識別技術、Hadoop和Hbase的架構和工作機制。
　　其次,研究Apriori算法,并基于Hadoop對該算法進行了改進,得到基于Hadoop的應用層協(xié)議特征串提取算法--MapReduceApriori算法。改進后的算法可較好地解決從非公開規(guī)范文檔的應用層協(xié)議中提取特征困難的問題,以及新協(xié)議種類繁多人為提取