p2p流量識別技術(shù)之dpi綜述【文獻(xiàn)綜述】

1、<p><b>　　畢業(yè)論文文獻(xiàn)綜述</b></p><p><b>　　通信工程</b></p><p>　　P2P流量識別技術(shù)之DPI綜述</p><p><b>　　摘要：</b></p><p>　　近年來興起的P2P流媒體應(yīng)用造成了網(wǎng)絡(luò)帶寬的巨大消耗，精確識

2、別P2P流量具有很強(qiáng)的實際意義。本文首先介紹P2P流量識別技術(shù)現(xiàn)狀，重點(diǎn)介紹DPI技術(shù)及其作用，為對網(wǎng)絡(luò)流量應(yīng)用層特征提取提供幫助。</p><p>　　關(guān)鍵詞：P2P；流量識別技術(shù)；DPI；應(yīng)用層；</p><p><b>　　1.引言</b></p><p>　　近年來，對等網(wǎng)絡(luò)(Peer-to-Peer，P2P)的用戶規(guī)模、應(yīng)用類型和流量

3、均呈爆發(fā)式增長。P2P應(yīng)用類型也已從文件共享擴(kuò)展到語音、視頻等應(yīng)用領(lǐng)域。中國互聯(lián)網(wǎng)實際流量模式分析報告表明， P2P流量已約占整個互聯(lián)網(wǎng)流量的60%。大部分P2P 應(yīng)用對帶寬是一種侵占式的占用,據(jù)統(tǒng)計, P2P 應(yīng)用已占據(jù) ISP 業(yè)務(wù)總量的 60%到70%之間[1], 消耗了大部分的網(wǎng)絡(luò)帶寬, 使網(wǎng)絡(luò)性能降低, 服務(wù)質(zhì)量下降。傳統(tǒng)WEB、EMAIL 等關(guān)鍵應(yīng)用受到影響。另一方面, P2P 應(yīng)用帶來了諸多的知識產(chǎn)權(quán)和安全問題, 因此,

4、運(yùn)行商、 內(nèi)容提供商及校園網(wǎng)都有對P2P 流進(jìn)行管理的強(qiáng)烈需求[2]。</p><p>　　P2P流量的迅速增長不僅帶來了網(wǎng)絡(luò)帶寬的快速消耗,而且還以其近乎對稱的流量模式加劇了網(wǎng)絡(luò)的擁塞狀況[3] 。開展高效、準(zhǔn)確的P2P流量實時識別與過濾相關(guān)技術(shù)研究，不僅有利于合理利用互聯(lián)網(wǎng)基礎(chǔ)設(shè)施、P2P技術(shù)和合理部署P2P應(yīng)用，還有利于制止非法內(nèi)容在P2P網(wǎng)絡(luò)中的傳播[4]。</p><p>　　傳

5、統(tǒng)的協(xié)議識別采用的是端口識別，這種識別能達(dá)到較高的速率，但是現(xiàn)在大量的應(yīng)用層協(xié)議為了避免識別，逃避防火墻的檢查，不使用固定的端口進(jìn)行通信.這不僅包括眾多近年新出現(xiàn)的P2P協(xié)議，而且包括了越來越多的傳統(tǒng)協(xié)議，比如BitTorrent、eMule等P2P協(xié)議，其采用動態(tài)端口進(jìn)行通信；Skype、QQ等協(xié)議則共用80端口。越來越多諸如此類協(xié)議的產(chǎn)生，使得端口識別已無能無力，因此近年來很多的研究工作都致力于開發(fā)新的方法來識別應(yīng)用層協(xié)議。<

6、/p><p>　　下面的文章著重介紹P2P流量識別技術(shù)中的DPI技術(shù)，即基于應(yīng)用層簽名的識別方法，也稱為深度包檢測技術(shù)。</p><p>　　2. P2P流量識別技術(shù)簡介</p><p>　　為了控制網(wǎng)絡(luò)P2P應(yīng)用對帶寬的大量占用，必須首先對P2P流量進(jìn)行有效地監(jiān)控，它涉及到下面幾個方面的問題：流量采集、流量識別以及流量控制。在其中，流量的采集與其他網(wǎng)絡(luò)監(jiān)測方式采用的技

7、術(shù)完全一致，流量控制則取決不同的網(wǎng)絡(luò)管理策略，由網(wǎng)絡(luò)管理人員進(jìn)行相應(yīng)的設(shè)置，例如進(jìn)行P2P流量限制或者完全過濾P2P流量等。因此，這里的關(guān)鍵部分是流量的識別操作。根據(jù)實現(xiàn)思想不同，可以將它分為多種類型，如基于分組分析、基于流分析等。其實現(xiàn)方式直接關(guān)系到整個監(jiān)控系統(tǒng)的實現(xiàn)效率以及系統(tǒng)的可用性。</p><p>　　就目前國內(nèi)外研究現(xiàn)狀[6]而言，主要可分為基于人工經(jīng)驗和基于機(jī)器學(xué)習(xí)的P2P流量識別方法。目前，基于人

8、工經(jīng)驗的P2P流量識別方法主要可分為三類[7]：第一類基于端口的識別方法，由于P2P技術(shù)采用端口跳躍、隨機(jī)端口等方式來逃避檢測，該方法對于大部分P2P應(yīng)用已不再有效；第二類基于應(yīng)用層數(shù)據(jù)的識別方法，通過提取應(yīng)用層數(shù)據(jù)，分析其載荷所包含的協(xié)議特征值，來判斷網(wǎng)絡(luò)流量是否屬于P2P，該方法準(zhǔn)確性高，但可擴(kuò)展性差且缺乏加密數(shù)據(jù)識別功能，同時也無法識別新出現(xiàn)的和未知的P2P應(yīng)用；第三類基于流量特征的識別方法[5]，該方法通過對傳輸層數(shù)據(jù)包進(jìn)行分析

9、并結(jié)合P2P網(wǎng)絡(luò)所表現(xiàn)出來的流量特征，來識別P2P流量。</p><p>　　第二類基于應(yīng)用層數(shù)據(jù)的識別方法，對于現(xiàn)在的網(wǎng)絡(luò)上應(yīng)用最廣的就是DPI技術(shù)了，下面我們將介紹什么是DPI，DPI典型的檢測技術(shù)及其發(fā)展的前景。</p><p>　　3.DPI深度包檢測技術(shù)</p><p>　　3.1 DPI技術(shù)介紹</p><p>　　DPI 全稱為

10、“Deep Packet Inspection”，稱為“深度包檢測” [8]。所謂“深度”是和普通的報文分析層次相比較而言的，“普通報文檢測”僅分析IP包的層4 以下的內(nèi)容，包括源地址、目的地址、源端口、目的端口以及協(xié)議類型，而DPI 除了對前面的層次分析外，還增加了應(yīng)用層分析，識別各種應(yīng)用及其內(nèi)容，基本概念如圖一所示：</p><p><b>　　圖一普通報文層次</b></p>

11、;<p>　　3.2 典型的DPI檢測技術(shù)[9]</p><p>　　1基于“特征字”的識別技術(shù)</p><p>　　不同的應(yīng)用通常依賴于不同的協(xié)議，而不同的協(xié)議都有其特殊的指紋，這些指紋可能是特定的端口、特定的字符串或者特定的Bit 序列?；凇疤卣髯帧钡淖R別技術(shù)通過對業(yè)務(wù)流中特定數(shù)據(jù)報文中的“指紋”信息的檢測以確定業(yè)務(wù)流承載的應(yīng)用。</p><p>

12、;　　根據(jù)具體檢測方式的不同，基于“特征字”的識別技術(shù)又可以被分為固定位置特征字匹配、變動位置的特征匹配以及狀態(tài)特征匹配三種技術(shù)。</p><p>　　通過對“指紋”信息的升級，基于特征的識別技術(shù)可以很方便的進(jìn)行功能擴(kuò)展，實現(xiàn)對新協(xié)議的檢測。</p><p>　　如：Bittorrent 協(xié)議的識別，通過反向工程的方法對其對等協(xié)議進(jìn)行分析，所謂對等協(xié)議指的是peer與peer之間交換信息的

13、協(xié)議。對等協(xié)議由一個握手開始，后面是循環(huán)的消息流，每個消息的前面，都有一個數(shù)字來表示消息的長度。在其握手過程中，首先是先發(fā)送19，跟著是字符串“BitTorrent protocol”。那么“19BitTorrent Protocol”就是Bittorrent的“特征字”。</p><p>　　2 應(yīng)用層網(wǎng)關(guān)識別技術(shù)</p><p>　　某些業(yè)務(wù)的控制流和業(yè)務(wù)流是分離的，業(yè)務(wù)流沒有任何特征

14、。這種情況下，我們就需要采用應(yīng)用層網(wǎng)關(guān)識別技術(shù)。</p><p>　　應(yīng)用層網(wǎng)關(guān)需要先識別出控制流，并根據(jù)控制流的協(xié)議通過特定的應(yīng)用層網(wǎng)關(guān)對其進(jìn)行解析，從協(xié)議內(nèi)容中識別出相應(yīng)的業(yè)務(wù)流。</p><p>　　對于每一個協(xié)議，需要有不同的應(yīng)用層網(wǎng)關(guān)對其進(jìn)行分析。</p><p>　　如SIP、H323協(xié)議都屬于這種類型。SIP/H323通過信令交互過程，協(xié)商得到其數(shù)據(jù)通

15、道，一般是RTP格式封裝的語音流。也就是說，純粹檢測RTP流并不能得出這條RTP流是那通過那種協(xié)議建立的。只有通過檢測SIP/H323的協(xié)議交互，才能得到其完整的分析。</p><p>　　3 行為模式識別技術(shù)</p><p>　　行為模式識別技術(shù)基于對終端已經(jīng)實施的行為的分析，判斷出用戶正在進(jìn)行的動作或者即將實施的動作。行為模式識別技術(shù)通常用于無法根據(jù)協(xié)議判斷的業(yè)務(wù)的識別。</p&

16、gt;<p>　　例如：SPAM（垃圾郵件）業(yè)務(wù)流和普通的Email業(yè)務(wù)流從Email的內(nèi)容上看是完全一致的，只有通過對用戶行為的分析，才能夠準(zhǔn)確的識別出SPAM業(yè)務(wù)。</p><p>　　4.DPI應(yīng)用及發(fā)展前景</p><p>　　深度數(shù)據(jù)包檢測(DPI)是一項已經(jīng)在流量管理、安全和網(wǎng)絡(luò)分析等方面獲得成功的技術(shù)，同時該技術(shù)能夠?qū)W(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行內(nèi)容分析，但又與header或

17、者基于元數(shù)據(jù)的數(shù)據(jù)包檢測有所不同，這兩種檢測通常是由交換機(jī)、防火墻和入侵檢測系統(tǒng)/IPS設(shè)備來執(zhí)行的。通常的DPI解決方案能夠為不同的應(yīng)用程序提供深度數(shù)據(jù)包檢測[10]。</p><p>　　隨著網(wǎng)絡(luò)運(yùn)營商、互聯(lián)網(wǎng)服務(wù)提供商(ISP)以及類似的公司越來越依賴于其網(wǎng)絡(luò)以及網(wǎng)絡(luò)上運(yùn)行的應(yīng)用程序的效率，管理帶寬和控制通信的復(fù)雜性以及安全的需要變得越來越重要。DPI恰好能夠提供這些要求，尋求更好的網(wǎng)絡(luò)管理以及合規(guī)的用戶企

18、業(yè)應(yīng)該把DPI作為一項重要的技術(shù)。</p><p>　　作為一個相對年輕的市場，DPI行業(yè)還面臨著很多挑戰(zhàn)，例如：</p><p>　　不存在標(biāo)準(zhǔn)的基準(zhǔn)?，F(xiàn)在的DPI市場還充滿了困惑的、一站式的、針對特定應(yīng)用程序的性能信息，這個行業(yè)需要標(biāo)準(zhǔn)基準(zhǔn)來規(guī)定連接安全時間、TCP、UDP和吞吐量測試[11]等。這些基準(zhǔn)對于在相互競爭的產(chǎn)品間建立可比性能指標(biāo)是很重要的。</p><

19、p>　　不同的DPI技術(shù)不斷的涌現(xiàn)，“OpenDPI”將允許第三方開發(fā)者在不同的商業(yè)解決方案上編寫DPI應(yīng)用程序。 </p><p>　　DPI技術(shù)市場將繼續(xù)存在下去，現(xiàn)在看來，這個市場的應(yīng)用程序可能還是分散和不一致的，但是存在的巨大潛力和行業(yè)利益將最終推動其走向標(biāo)注啊和開發(fā)的市場。</p><p><b>　　5.結(jié)束語</b></p><

20、p>　　采用DPI技術(shù)的優(yōu)點(diǎn)包括：準(zhǔn)確性高、健壯性好、具有分類功能[12]等。準(zhǔn)確性高是由于該方法執(zhí)行精確特征匹配，因此極少存在誤判問題。健壯性好是由于可以處理數(shù)據(jù)包丟失、重組等，因此能適應(yīng)如今復(fù)雜的網(wǎng)絡(luò)應(yīng)用。具有分類功能是由于深層數(shù)據(jù)包檢測技術(shù)可以依據(jù)不同應(yīng)用的載荷特征來準(zhǔn)確分類各網(wǎng)絡(luò)應(yīng)用，因此可以為實施流量監(jiān)管策略提供準(zhǔn)確的信息。</p><p>　　通過DPI對網(wǎng)絡(luò)數(shù)據(jù)的快速識別與分類，不僅為用戶提高

21、服務(wù)質(zhì)量(QoS)、分層服務(wù)等提供技術(shù)支持，也可以為網(wǎng)絡(luò)數(shù)據(jù)上的內(nèi)容監(jiān)管(如惡意代碼識別、病毒防御)提供技術(shù)保障。能更加精確的提取網(wǎng)絡(luò)流量應(yīng)用層特征，獲得準(zhǔn)確的信息，對以后的論文提供幫助。</p><p><b>　　·參考文獻(xiàn)</b></p><p>　　[1]Thomas K,Andre B,Nevil B,Michalis F."Is P2P

22、 dying or just hiding?"GLOBECOM’04-IEEE Global Telecommunications Conference.2004, 1532-1538</p><p>　　[2] Jeffrey Erman, Martin Arlitt, and Anirban Mahanti, "Traffic Classification Using Clustering

23、 Algorithms", Pisa, Italy, SIGCOMM'06 Workshops, 2006.</p><p>　　[3]高文杰.P2P分布式文件傳輸系統(tǒng)的研究:[碩士學(xué)位論文].武漢：武漢理工大學(xué)計算機(jī)系，2006.</p><p>　　[4]劉瓊,徐鵬,楊海濤等.Peer2to2Peer文件共享系統(tǒng)的測量研究.軟件學(xué)報,2006,17(10):2131-

24、2140</p><p>　　[5]徐鵬，劉瓊，林森.改進(jìn)的對等網(wǎng)絡(luò)流量傳輸層識別方法，計算機(jī)研究與發(fā)展，2008,45(5):794-802</p><p>　　[6]劉穎秋，李巍，李云春.網(wǎng)絡(luò)流量分類與應(yīng)用識別的研究.計算機(jī)應(yīng)用研究，2008，25（5）:3941-5941</p><p>　　[7]余浩，徐明偉.P2P流檢測技術(shù)研究綜述，清華大學(xué)學(xué)報，2009

25、,49(4):616-620</p><p>　　[8] EN S, SPATSCHECK O, WANG Dong-mei . Accurate, scalable in-network identification of P2P traffic using application signatures[C]//Proc of the 13 th International Conference on WWW.

26、 New York: ACM Press, 2004: 512-521.</p><p>　　[9] 徐周李, 姜志宏, 莫松海, 樊鵬翼. 基于應(yīng)用層簽名的 P2P 流媒體流量識別. 計算機(jī)應(yīng)用研究，2009，65(6)：1001-3695</p><p>　　[10]Hei X.,Liang,C.,Liang,J.,Liu,Y.,and Ross, K. W., "A mea

27、surement study of a large-scale P2P IPTV system," IEEE Transactions on Multimedia, vol. 9, no. 8, pp.1672-1687, 2007.</p><p>　　[11] 楊岳湘, 王銳, 唐川,等. 基于雙重特征的 P2P流量檢測方法[ J] .通信學(xué)報, 2006 , 27 ( z1) : 134 -139

28、. </p><p>　　[12]Wagner,A., Dübendorfer, T., mmerle, H., and Plattner, B., "Identifying P2P Heavy-Hitters from Network-Flow Data", 2nd Annual Workshop on Flow Analysis (FloCon), 2005.</p>