基于機器學習的流量識別關(guān)鍵技術(shù)研究.pdf

1、過去的二十年中，互聯(lián)網(wǎng)浪潮一波接一波，新技術(shù)、新應(yīng)用層出不窮，特別是進入21世紀以來，以P2P為代表的新應(yīng)用在給互聯(lián)網(wǎng)用戶帶來極大便利的同時，也出現(xiàn)了帶寬的貪婪吞噬，以及惡意逃避監(jiān)測等問題。這就給互聯(lián)網(wǎng)工程技術(shù)界和學術(shù)界提出了一個新的挑戰(zhàn)：如何對這些新應(yīng)用的網(wǎng)絡(luò)流量進行準確識別，進而加以有效管理，以確保網(wǎng)絡(luò)的優(yōu)質(zhì)運營，為用戶、企業(yè)提供良好的服務(wù)質(zhì)量和可靠的安全保障。這一問題的提出直接催生了應(yīng)用流量識別這一研究課題。
　　機器學習作

2、為人工智能領(lǐng)域的重要方法，近年來在流量識別研究中得到了廣泛應(yīng)用。由于其智能性、良好的泛化性以及高識別效率等特性，使其逐漸成為流量識別研究中的主流方向。然而機器學習應(yīng)用到流量識別時，數(shù)項關(guān)鍵問題卻亟待突破：
　?。?）非平衡流量識別問題?；ヂ?lián)網(wǎng)各類應(yīng)用流量呈極不均衡分布，這給識別模型帶來了新挑戰(zhàn)，因為標準機器學習模型很難準確識別其中的劣勢類樣本；
　?。?）基礎(chǔ)數(shù)據(jù)獲取困難。網(wǎng)絡(luò)上的流量數(shù)據(jù)本身并不攜帶準確的原始應(yīng)用信息，因而

3、網(wǎng)絡(luò)上采集的數(shù)據(jù)缺失目標類型信息，無法有效地用于構(gòu)建識別模型；
　?。?）流量特征提取與評估問題，尤其是早期識別的有效數(shù)據(jù)包數(shù)目界定以及特征的有效性評估。
　　本文針對流量識別研究中上述關(guān)鍵問題開展研究工作，力圖建立一套從基礎(chǔ)數(shù)據(jù)獲取到最終識別模型構(gòu)建的流量識別技術(shù)方案。以這一核心研究目標為導向，本文系統(tǒng)地開展了以下研究工作：
　?。?）針對非平衡分類問題，改進標準數(shù)據(jù)引力分類模型（DGC），提出了非平衡數(shù)據(jù)引力分類模

4、型（IDGC），通過大量的實驗驗證了IDGC模型良好非平衡分類性能。在此基礎(chǔ)上，針對互聯(lián)網(wǎng)各類流量的非平衡分布問題，將IDGC應(yīng)用到非平衡流量識別中，構(gòu)建了高效的非平衡流量識別模型。實驗證明，這一識別模型與標準分類模型和其他非平衡分類方法相比，在非平衡流量識別問題中可以獲得非常高的靈敏度，并能在靈敏度和特異度之間實現(xiàn)很好的平衡。
　　（2）針對流量識別的特征選擇與高效識別模型構(gòu)建的問題，應(yīng)用柔性神經(jīng)樹（FNT）構(gòu)建了高效的流量識別

5、模型。充分利用FNT良好的分類性能和自動特征選擇能力，在實現(xiàn)理想的識別精度同時，對流量特征進行自動選擇，進而評估了不同特征的重要程度。
　　（3）就流量識別中基礎(chǔ)數(shù)據(jù)獲取困難的問題，進行了具有準確應(yīng)用背景信息的流量樣本采集方法的研究。本文從互聯(lián)網(wǎng)用戶終端著手，采用IP報文標記技術(shù)對用戶發(fā)送的IP報文進行應(yīng)用標記，使得發(fā)送的IP 報文攜帶其原始應(yīng)用信息。這一方法有效解決了流量樣本背景信息缺失的問題，從而使網(wǎng)絡(luò)上采集的流量數(shù)據(jù)具有準確