嵌入商業(yè)邏輯-中國(guó)科技網(wǎng)

1、網(wǎng)絡(luò)流量監(jiān)測(cè)分析及可視化--中國(guó)科技網(wǎng)全網(wǎng)網(wǎng)絡(luò)流量分析系統(tǒng)培訓(xùn),中國(guó)科技網(wǎng)研發(fā)部 聯(lián)系郵箱 yanfazu@cstnet.cn 韓春靜 chjhan@cstnet.cn,全網(wǎng)流量分析系統(tǒng)簡(jiǎn)介與目前使用情況流量分析技術(shù)介紹可視化技術(shù)介紹全網(wǎng)流量分析系統(tǒng)系統(tǒng)使用培訓(xùn),報(bào)告提綱,全網(wǎng)流量分析系統(tǒng)簡(jiǎn)介與目前使用情況,各種國(guó)際科研研究機(jī)構(gòu)和網(wǎng)絡(luò)機(jī)構(gòu),網(wǎng)絡(luò)帶寬持續(xù)增長(zhǎng)的原因?qū)芾碚呶粗蒲袘?yīng)用信息化程度對(duì)管理者非常重要

2、利用網(wǎng)絡(luò)進(jìn)行科研數(shù)據(jù)交互的國(guó)外科研機(jī)構(gòu)是研究所的重要資源,全網(wǎng)流量分析系統(tǒng)項(xiàng)目背景介紹,網(wǎng)絡(luò)管理者需要獲得使用網(wǎng)絡(luò)的詳細(xì)情況,全網(wǎng)流量分析系統(tǒng)項(xiàng)目背景介紹,,分析網(wǎng)絡(luò)流量,中國(guó)科技網(wǎng)全網(wǎng)流量分析系統(tǒng),全網(wǎng)流量分析系統(tǒng)從各個(gè)角度和深度分析科技網(wǎng)流量應(yīng)用組成，用戶(hù)使用習(xí)慣，科研流量去向等，為院和研究所信息化領(lǐng)導(dǎo)，科技網(wǎng)中心管理者、研究所網(wǎng)絡(luò)管理者提供信息化管理工具院“十一五”信息化項(xiàng)目中國(guó)科技網(wǎng)網(wǎng)絡(luò)中心研發(fā)部自主開(kāi)發(fā),項(xiàng)目介紹,2

3、008年12月份-2009年2月份，需求調(diào)研2009年3月份-8月份，系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)2009年8月份-10月份，系統(tǒng)測(cè)試2009年10月份-12月份，新增功能設(shè)計(jì)開(kāi)發(fā)2010年1月份-3月份，系統(tǒng)測(cè)試2010年3月份-至今，院內(nèi)研究所開(kāi)放使用。,全網(wǎng)流量分析系統(tǒng)建設(shè)大事表,目前系統(tǒng)上線運(yùn)行正常，已經(jīng)為全院的研究所開(kāi)放了賬戶(hù)，多個(gè)研究所使用后，評(píng)價(jià)系統(tǒng)功能強(qiáng)大，很方便使用！,多次為院信息化專(zhuān)家組演示系統(tǒng)功能，得到了專(zhuān)家的指導(dǎo)和肯

4、定！,高速鏈路流量實(shí)時(shí)捕獲技術(shù)深度包監(jiān)測(cè)技術(shù)海量數(shù)據(jù)高性能處理與存儲(chǔ)技術(shù)創(chuàng)新可視化流量展現(xiàn),全網(wǎng)流量分析系統(tǒng)解決的關(guān)鍵技術(shù),,科研流量協(xié)作分析應(yīng)用分析Top IP地址分析Top IP地址對(duì)分析記賬信息主機(jī)活躍度分析分院統(tǒng)計(jì)報(bào)告研究所統(tǒng)計(jì)報(bào)告,全網(wǎng)流量分析系統(tǒng)架構(gòu)設(shè)計(jì),,,DPI設(shè)備,DPI流接收器,流接收器,數(shù)據(jù)庫(kù),WEB Service 中間服務(wù)層,鏈路分析,研究所分析,統(tǒng)計(jì)報(bào)告,網(wǎng)絡(luò)氣象圖,科研流量協(xié)作分析,主機(jī)

5、活躍度分析,網(wǎng)絡(luò)層,處理層,應(yīng)用層,netflow,緩存服務(wù),數(shù)據(jù)處理器,數(shù)據(jù)處理器,研究所管理者,DPI探針通過(guò)鏡像方式獲得流量信息，不依賴(lài)路由器Netflow的配置，不依賴(lài)路由器的硬件基本配置DPI探針可以為軟件或者硬件，根據(jù)網(wǎng)絡(luò)瀏覽級(jí)別大小選擇DPI探針獲得的應(yīng)用流格式不固定，統(tǒng)一的處理程序不適用DPI探針流格式中間增加網(wǎng)絡(luò)應(yīng)用信息字段，應(yīng)用信息通過(guò)應(yīng)用分級(jí)獲得不同的應(yīng)用分析效果DPI探針數(shù)據(jù)量大于Netflow，需要在

6、處理時(shí)增加采樣，并采用分布式數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)處理和保存,DPI（深度包檢測(cè)）探針應(yīng)用于流量分析,與Netflow比較,Netflow海量數(shù)據(jù)采用文件作為臨時(shí)數(shù)據(jù)保持格式，數(shù)據(jù)批量導(dǎo)入數(shù)據(jù)庫(kù)增加最近時(shí)間段的的數(shù)據(jù)庫(kù)快表，獲得最近5分鐘，一個(gè)小時(shí)，一天，一個(gè)月的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，提高熱點(diǎn)關(guān)注數(shù)據(jù)的查詢(xún)效率采用分表的方式，將不同顆粒度數(shù)據(jù)進(jìn)行保存，保證長(zhǎng)期數(shù)據(jù)存儲(chǔ)和查詢(xún)速度,流量采集和保存關(guān)鍵技術(shù),引入虛鏈路,虛鏈路：虛鏈路相對(duì)于交換機(jī)，路由器

7、網(wǎng)絡(luò)中的鏈路，通常，2個(gè)設(shè)備端口形成一條鏈路。虛鏈路指可以將鏈路進(jìn)行相加，形成邏輯意義上的鏈路，即虛鏈路。,China：國(guó)內(nèi)所有所有出口線路Foreign：國(guó)際所有出口線路Gloriad：Gloriad所有線路All Border：國(guó)內(nèi)和國(guó)際所有出口線路,流量可視化,,,,,,,交互圖,,,,,,,表,,,,,,文本,可視化成就網(wǎng)絡(luò)發(fā)展,user1 2612597673600 2640897130800 52534948044

8、00 user2 10688049000 8927868600 19615917600 user3 54381476600 49254297300 103635773900 user4 766579973300 861216720300 1627796693600 user5 2947147088800 3381686944000 6328834032800 user6 72153578000 4738141

9、2000 119534990000,,越來(lái)越高效洞悉網(wǎng)絡(luò),數(shù)據(jù)可視化（Data Visualization）技術(shù)指的是運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù),將數(shù)據(jù)換為圖形或圖像在屏幕上顯示出來(lái),并進(jìn)行交互處理的理論、方法和技術(shù)。它涉及到計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)視覺(jué)及人機(jī)交互技術(shù)等多個(gè)領(lǐng)域。流量可視化：即網(wǎng)絡(luò)流量的信息可視化。我們可以通過(guò)數(shù)據(jù)可視化技術(shù)，發(fā)現(xiàn)大量IP地址、通信機(jī)構(gòu)和不同應(yīng)用隱含的規(guī)律，從而為決策提供依據(jù)

10、。,流量可視化技術(shù)介紹,Jfreechart，java包，方便使用，對(duì)于復(fù)雜的圖形繪制，每個(gè)參數(shù)需要設(shè)置，對(duì)使用者要求比較高Flex chart，Adobe自帶包，需要對(duì)Flex開(kāi)發(fā)比較熟悉，包中提供了各種豐富的圖表控件以及靈活的控制參數(shù)，可以制作動(dòng)態(tài)flash報(bào)表Google Map 和Google Earth開(kāi)發(fā)包，在程序中間可以方便的嵌入開(kāi)發(fā)包，目前提供了flex，JavaScript，flash等接口包,可視化開(kāi)發(fā)包,Ope

11、n Flash Chart ：http://teethgrinder.co.uk/open-flash-chart/，完全開(kāi)源免費(fèi)Fusionchart：http://www.fusioncharts.com/ 非開(kāi)源，具有免費(fèi)使用版本Anychart：http://www.anychart.com/home/ 非開(kāi)源，可以下載使用，生成報(bào)表附LogoAmchart： http://www.amcharts.com/

12、 非開(kāi)源，可以下載使用，生成報(bào)表附Logo,動(dòng)畫(huà)報(bào)表工具舉例,交互性強(qiáng)大，信息含量豐富方便使用，配置簡(jiǎn)單僅僅需要修改數(shù)據(jù)文件格式和配置模板可以在不同的開(kāi)發(fā)語(yǔ)言上使用需要對(duì)數(shù)據(jù)庫(kù)比較熟悉需要對(duì)每種工具的配置規(guī)則熟悉沒(méi)有可視化的開(kāi)發(fā)界面，預(yù)覽需要通過(guò)調(diào)用程序調(diào)試,動(dòng)畫(huà)報(bào)表工具特點(diǎn),WEBFOCUS Information Builders公司Style Report 美國(guó)英網(wǎng)軟件公司（InetSoft） 潤(rùn)乾報(bào)表 潤(rùn)乾公

13、司,商業(yè)智能報(bào)表工具舉例,開(kāi)源商業(yè)智能報(bào)表軟件,openI http://openi.sourceforge.net/openi_product.htmljaspersoft http://www.jaspersoft.com/ spagoBIhttp://www.spagoworld.org/xwiki/bin/view/SpagoBI/ pentahohttp://www.pentaho.com/download/,商業(yè)

14、智能報(bào)表軟件特點(diǎn),數(shù)據(jù)訪問(wèn): 與數(shù)據(jù)庫(kù)連通性，用戶(hù)定制數(shù)據(jù)訪問(wèn)適配器 專(zhuān)業(yè)報(bào)表設(shè)計(jì)強(qiáng)大的所見(jiàn)即所得（WYSIWYG）報(bào)表設(shè)計(jì)工具，擁有像Word一樣簡(jiǎn)單的操作過(guò)程，以及像HTML一般的精美布局，豐富的展現(xiàn)元素庫(kù) 嵌入商業(yè)邏輯支持在報(bào)表、頁(yè)面及元素中使用JavaScript腳本，為報(bào)表植入復(fù)雜的商業(yè)邏輯，腳本可控的報(bào)表輸出及報(bào)表打印 交互式報(bào)表視圖提供零客戶(hù)端下載的，安全可靠的報(bào)表門(mén)戶(hù) ，支持?jǐn)?shù)據(jù)在已生成的報(bào)表內(nèi)進(jìn)行排序、過(guò)

15、濾及隱藏 ，支持郵件發(fā)送，服務(wù)器端打印及客戶(hù)端打印功能 嵌入機(jī)制與集成 支持Web service和SOAP 架構(gòu) ，可配置的報(bào)表門(mén)戶(hù)組件，支持通過(guò)各種開(kāi)發(fā)語(yǔ)言API 對(duì)數(shù)據(jù)和報(bào)表進(jìn)行操作,全網(wǎng)流量分析系統(tǒng)使用培訓(xùn),科研流量協(xié)作分析應(yīng)用分析Top IP地址分析Top IP地址對(duì)分析記賬信息主機(jī)活躍度分析分院統(tǒng)計(jì)報(bào)告研究所統(tǒng)計(jì)報(bào)告,內(nèi)容提綱,在這個(gè)功能模塊中間，系統(tǒng)會(huì)呈現(xiàn)給用戶(hù)一個(gè)地理的流量視圖。用戶(hù)可以查看本研究所流量

16、與外部機(jī)構(gòu)交互的情況系統(tǒng)界面包括三個(gè)區(qū)域：選擇區(qū)域TopN表格地理視圖,科研流量協(xié)作分析,科研流量協(xié)作分析,選擇虛鏈路,選擇時(shí)間段,大洲選擇,全屏按鈕為了更全面、美觀的查看地圖，提供全屏按鈕,國(guó)家/地區(qū)查詢(xún)這部分在地圖里點(diǎn)擊任何國(guó)家，可以提供具體一個(gè)國(guó)家的查詢(xún)。在查詢(xún)區(qū)域沒(méi)有顯示，此功能的查詢(xún)。,IP地址對(duì)柱圖更直觀的展示外部機(jī)構(gòu)交換流量最大的情況。,科研協(xié)作流量分析-Top N 地址對(duì) 柱圖,餅圖中國(guó)家/區(qū)域的大小顯示了每

17、個(gè)國(guó)家的流量比例，在Top 10的國(guó)家以外，還顯示了其他國(guó)家/區(qū)域的所有流量，名稱(chēng)為“其他”,科研協(xié)作流量分析-Top N 國(guó)家餅圖,在這個(gè)功能模塊中間，系統(tǒng)提供研究所的分析數(shù)據(jù)和圖表上行：指出研究所（科技網(wǎng)）的流量下行：指入研究所（科技網(wǎng)）的流量,流量分析-研究所分析,菜單選擇：流量分析》研究所分析-》流量趨勢(shì)內(nèi)容描述系統(tǒng)提供鏈路流量總體的流量上下行圖表,流量分析-研究所分析-流量趨勢(shì),菜單選擇：流量分析》研究所分析-》應(yīng)用

18、組成內(nèi)容描述系統(tǒng)提供此研究所出口流量在各個(gè)種應(yīng)用分布情況,流量分析-研究所分析-應(yīng)用分析,菜單選擇：流量分析》研究所分析-》TOP IP地址內(nèi)容描述系統(tǒng)提供研究所流量使用最多的IP地址情況，圖表中提供Top 10的IP地址柱圖,流量分析-研究所分析- TOP IP地址,菜單選擇：流量分析》研究所分析-》TOP IP地址對(duì)內(nèi)容描述系統(tǒng)提供研究所出口流量中流量使用最多的IP地址對(duì)情況，圖表中提供Top 10的IP地址對(duì)柱圖

19、,流量分析-研究所分析- TOP IP地址對(duì),菜單選擇：流量分析》記賬信息內(nèi)容描述在這個(gè)功能模塊中間，系統(tǒng)會(huì)提供研究所流量統(tǒng)計(jì)的具體內(nèi)容。研究所可以以此生成每個(gè)IP地址的記賬信息實(shí)時(shí)流量查詢(xún)?nèi)樟髁坎樵?xún)?cè)铝髁坎樵?xún),流量分析-記賬信息,菜單選擇：安全監(jiān)測(cè)》主機(jī)活躍度內(nèi)容描述系統(tǒng)分析研究所內(nèi)部每個(gè)IP地址對(duì)外建立Session的活躍度情況，網(wǎng)絡(luò)管理員可以根據(jù)Session的活躍度來(lái)進(jìn)行異常主機(jī)流量的監(jiān)測(cè)。主機(jī)活躍度圖分為

20、三個(gè)部分，選擇區(qū)域（上部），時(shí)間列表（中部），活躍度拼圖（下部）,安全監(jiān)測(cè)-主機(jī)活躍度,選擇“類(lèi)型”解釋會(huì)話(huà)數(shù)：根據(jù)IP地址在特定時(shí)間和外部IP地址建立的session數(shù)量進(jìn)行匯總PPS：根據(jù)IP地址在特定時(shí)間和外部地址的每秒包（packets）交換數(shù)量匯總BPS：根據(jù)IP地址在特定時(shí)間和外部地址的每秒位（bits）交換數(shù)量匯總,安全監(jiān)測(cè)-主機(jī)活躍度,內(nèi)容描述統(tǒng)計(jì)報(bào)告為了向網(wǎng)絡(luò)的管理者和研究所的管理者展現(xiàn)出本單位網(wǎng)絡(luò)應(yīng)用的情況

21、，統(tǒng)計(jì)報(bào)告分為院網(wǎng)報(bào)告，分院報(bào)告和研究所報(bào)告流量應(yīng)用分析報(bào)告每個(gè)月出一份，系統(tǒng)支持報(bào)告以PDF的格式下載,統(tǒng)計(jì)報(bào)告,院網(wǎng)報(bào)告分院報(bào)告研究所報(bào)告,報(bào)告分類(lèi),統(tǒng)計(jì)報(bào)告-應(yīng)用名稱(chēng)分類(lèi),報(bào)表橫軸為各種應(yīng)用分類(lèi)，縱坐標(biāo)為流量值，本圖對(duì)每種應(yīng)用在一個(gè)月的流量情況使用柱圖方式顯示出來(lái)，每種應(yīng)用一個(gè)柱子，分上行和下行組合，并對(duì)流量進(jìn)行排序,統(tǒng)計(jì)報(bào)告,流量趨勢(shì)報(bào)表,流量應(yīng)用組成報(bào)表,報(bào)表橫軸為月報(bào)當(dāng)月的日期，縱坐標(biāo)為流量值，不同的顏色表示不同的應(yīng)

22、用。在趨勢(shì)圖中，不同的應(yīng)用流量采用疊加的方式進(jìn)行展示，可以從應(yīng)用所占的面積來(lái)判斷應(yīng)用的大小,報(bào)表橫軸為研究所內(nèi)部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了流量最多的Top 20月流量情況,統(tǒng)計(jì)報(bào)告,內(nèi)部Top IP地址流量報(bào)表,外部Top IP地址流量報(bào)表,報(bào)表橫軸為研究所外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了與研究所通信的外部地址流量最多的Top 20月流量情況,統(tǒng)計(jì)報(bào)告,內(nèi)部IP地址P2P

23、應(yīng)用流量排名,外部IP地址P2P應(yīng)用流量排名,報(bào)表橫軸為研究所P2P應(yīng)用流量的Top 20的內(nèi)部IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所P2P應(yīng)用流量最多的內(nèi)部Top 20地址的月流量情況,報(bào)表橫軸為研究所P2P應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所P2P應(yīng)用流量最多的外部Top 20地址的月流量情況,統(tǒng)計(jì)報(bào)告,外部Web服務(wù)器流量排名,外部FTP服務(wù)器流量排名,報(bào)表橫軸為研究所W

24、eb應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所Web應(yīng)用流量最多的外部Top 20地址的流量情況,報(bào)表橫軸為研究所Ftp應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所Ftp應(yīng)用流量最多的外部Top 20地址的流量情況,報(bào)表橫軸為研究所流量中Top 20的IP地址對(duì)，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所流量最多的通信對(duì)的流量情況,統(tǒng)計(jì)報(bào)告,IP地址對(duì)流量排名