面向高速流量環(huán)境的網(wǎng)絡(luò)用戶(hù)識(shí)別技術(shù)研究.pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展和普及，互聯(lián)網(wǎng)用戶(hù)及終端設(shè)備數(shù)量呈現(xiàn)爆發(fā)式的增長(zhǎng)。同時(shí)，互聯(lián)網(wǎng)也成為了網(wǎng)絡(luò)犯罪的溫床，各類(lèi)犯罪事件頻繁發(fā)生，因此加強(qiáng)對(duì)網(wǎng)絡(luò)的監(jiān)管勢(shì)在必行。在此背景下，如何基于網(wǎng)絡(luò)流量分析實(shí)時(shí)識(shí)別網(wǎng)絡(luò)用戶(hù)成為研究的熱點(diǎn)。
　　目前大多數(shù)研究工作將對(duì)用戶(hù)的識(shí)別等同于對(duì)終端的識(shí)別，當(dāng)用戶(hù)擁有多個(gè)終端設(shè)備，或者終端設(shè)備被多個(gè)用戶(hù)共享使用時(shí)，其識(shí)別準(zhǔn)確率會(huì)顯著降低。這些終端設(shè)備識(shí)別技術(shù)或是利用物理信號(hào)區(qū)分硬件設(shè)備的細(xì)微差異，其識(shí)

2、別能力較弱;或是利用協(xié)議棧的相關(guān)參數(shù)識(shí)別操作系統(tǒng)，其識(shí)別粒度不夠。而現(xiàn)有的基于網(wǎng)絡(luò)流量分析的用戶(hù)識(shí)別技術(shù)，往往僅利用Web訪問(wèn)記錄識(shí)別用戶(hù)，其提取的特征太少、周期太長(zhǎng)，無(wú)法有效地在線(xiàn)識(shí)別網(wǎng)絡(luò)用戶(hù)。此外，傳統(tǒng)集中式計(jì)算技術(shù)無(wú)法滿(mǎn)足高速網(wǎng)絡(luò)流量數(shù)據(jù)實(shí)時(shí)分析與處理的需求。針對(duì)上述問(wèn)題，本論文研究了基于分布式處理的網(wǎng)絡(luò)用戶(hù)在線(xiàn)識(shí)別技術(shù)，并實(shí)現(xiàn)了一套原型系統(tǒng)。主要工作包含以下三個(gè)方面:
　　1.研究了基于分布式計(jì)算的高速網(wǎng)絡(luò)流量分析技術(shù)。利

3、用PFQ內(nèi)核模塊在高速網(wǎng)絡(luò)環(huán)境下抓取數(shù)據(jù)包，再由分布式消息隊(duì)列Kafka將數(shù)據(jù)包傳遞至分布式處理模塊，在完成對(duì)報(bào)文內(nèi)容的解析與過(guò)濾、應(yīng)用協(xié)議識(shí)別、應(yīng)用程序識(shí)別、User-Agent檢測(cè)以及DNS解析等任務(wù)后，提取應(yīng)用程序、操作系統(tǒng)、User-Agent、DNS域名以及Web訪問(wèn)記錄等信息，保存至分布式數(shù)據(jù)庫(kù)HBase中。
　　2.研究了網(wǎng)絡(luò)用戶(hù)在線(xiàn)識(shí)別技術(shù)。針對(duì)用戶(hù)終端的運(yùn)行環(huán)境，選擇應(yīng)用程序、操作系統(tǒng)以及User-Agent字段

4、生成設(shè)備指紋，共包含961個(gè)特征列，并以多種分類(lèi)算法訓(xùn)練和驗(yàn)證離線(xiàn)分類(lèi)模型，最后選擇邏輯回歸模型以滑動(dòng)窗口方式在線(xiàn)識(shí)別用戶(hù)終端。針對(duì)用戶(hù)的網(wǎng)絡(luò)行為習(xí)慣，選擇Web訪問(wèn)記錄、DNS域名以及User-Agent字段生成行為指紋，共包含57593個(gè)特征列，以多種分類(lèi)算法訓(xùn)練并驗(yàn)證離線(xiàn)分類(lèi)模型，最后選擇多項(xiàng)式樸素貝葉斯模型以滑動(dòng)窗口方式在線(xiàn)識(shí)別網(wǎng)絡(luò)用戶(hù)。網(wǎng)絡(luò)用戶(hù)的在線(xiàn)識(shí)別準(zhǔn)確率可以達(dá)到79.51％，同時(shí)網(wǎng)絡(luò)用戶(hù)的在線(xiàn)識(shí)別所需時(shí)間可以縮短至5分鐘