大規(guī)模NetFlow數(shù)據(jù)上的P2P流量檢測(cè).pdf

1、隨著P2P得到越來(lái)越廣泛的應(yīng)用,P2P流量檢測(cè)逐漸成為網(wǎng)絡(luò)數(shù)據(jù)分析領(lǐng)域的一個(gè)熱門問題。有關(guān)報(bào)告表明,P2P應(yīng)用所產(chǎn)生的流量占據(jù)網(wǎng)絡(luò)總流量的50％以上。由于P2P應(yīng)用會(huì)導(dǎo)致網(wǎng)絡(luò)擁塞,對(duì)于電信運(yùn)營(yíng)商來(lái)說,如何從全部網(wǎng)絡(luò)流量中檢測(cè)出P2P應(yīng)用所產(chǎn)生的流量就成為一個(gè)非常重要的課題。P2P采用隨機(jī)端口進(jìn)行傳輸?shù)臋C(jī)制,以及P2P系統(tǒng)本身的復(fù)雜性、分布性和多變性,都增加了P2P流量檢測(cè)的難度。本文主要目的是研究如何有效地在大規(guī)模NetFlow數(shù)據(jù)上進(jìn)

2、行P2P流量檢測(cè)。目前的P2P檢測(cè)方法都是針對(duì)數(shù)據(jù)包的,對(duì)主干網(wǎng)上數(shù)量龐大的數(shù)據(jù)包進(jìn)行分析要耗費(fèi)大量存儲(chǔ)和計(jì)算資源,因此學(xué)術(shù)界中大多數(shù)研究工作都無(wú)法得到實(shí)際應(yīng)用。目前投入使用的P2P檢測(cè)產(chǎn)品利用串接設(shè)備采集數(shù)據(jù)包內(nèi)容,并依靠硬件來(lái)進(jìn)行計(jì)算,具有部署代價(jià)昂貴、可擴(kuò)展相差、侵犯隱私等弊端。本文用NetFlow數(shù)據(jù)進(jìn)行P2P檢測(cè),克服了上述問題。NetFlow數(shù)據(jù)對(duì)數(shù)據(jù)包信息進(jìn)行了匯總和統(tǒng)計(jì),既保留了體現(xiàn)流量特征的重要信息,又降低了數(shù)據(jù)量,并

3、且NetFlow技術(shù)作為業(yè)界標(biāo)準(zhǔn)已經(jīng)在電信運(yùn)營(yíng)商中得到廣泛使用。本文的主要貢獻(xiàn)包括:1)根據(jù)P2P協(xié)議的運(yùn)作原理,推測(cè)P2P在流量表現(xiàn)上可能具有的一系列特征。對(duì)每一條特征,都通過實(shí)驗(yàn)驗(yàn)證它在區(qū)分P2P流量和非P2P流量上的效果,根據(jù)實(shí)驗(yàn)結(jié)果選擇有效的檢測(cè)特征。2)設(shè)計(jì)了一個(gè)基于NetFlow數(shù)據(jù)的P2P流量檢測(cè)算法。該算法將1)中選取的有效特征,按照檢測(cè)邏輯組織起來(lái),使檢測(cè)更加高效。3)基于2)中的算法,實(shí)現(xiàn)了P2P流量檢測(cè)系統(tǒng)INFO

4、PAD。系統(tǒng)利用數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ),用SQL查詢的方式來(lái)實(shí)現(xiàn)檢測(cè)算法,很好地解決了對(duì)大量流量數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算的問題。在系統(tǒng)中各個(gè)檢測(cè)規(guī)則形成獨(dú)立的模塊,新規(guī)則可以作為新模塊方便地整合到系統(tǒng)中來(lái),系統(tǒng)架構(gòu)具有良好的開放性和可擴(kuò)展性。4)對(duì)INFOPAD系統(tǒng)采用上海電信路由器上采集的真實(shí)NetFlow數(shù)據(jù)進(jìn)行實(shí)驗(yàn),并根據(jù)上海電信提供的深度包檢測(cè)(DPI)報(bào)告對(duì)檢測(cè)結(jié)果進(jìn)行驗(yàn)證。通過實(shí)驗(yàn)證明,INFOPAD系統(tǒng)的檢測(cè)算法能夠達(dá)到較高的準(zhǔn)確