基于主從結(jié)構(gòu)的分布式Netflow數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Netflow是反映網(wǎng)絡(luò)流量特性的一種指標(biāo)，傳統(tǒng)的Netflow工具只能監(jiān)控網(wǎng)絡(luò)流量，不能利用網(wǎng)絡(luò)流量完成特定的業(yè)務(wù)分析、挖掘和預(yù)防攻擊等。隨著互聯(lián)網(wǎng)流量的激增和分布式分析系統(tǒng)的快速發(fā)展，利用分布式分析系統(tǒng)快速、高效的分析網(wǎng)絡(luò)流量以完成特定業(yè)務(wù)分析、挖掘、預(yù)防攻擊成為可能。因此如何采集網(wǎng)絡(luò)流量數(shù)據(jù)并持久化，以符合分布式分析系統(tǒng)對(duì)數(shù)據(jù)的要求成為一個(gè)新的需求。另一方面，隨著設(shè)備規(guī)模的增多和網(wǎng)絡(luò)流量的激增，如何開(kāi)發(fā)系統(tǒng)以滿足高擴(kuò)展性，容錯(cuò)性和

2、對(duì)數(shù)據(jù)流的快速處理特性成為另一個(gè)需求。
　　為了實(shí)現(xiàn)采集并持久化Netflow數(shù)據(jù)，同時(shí)使系統(tǒng)達(dá)到高擴(kuò)展性、容錯(cuò)性和高效性等要求，設(shè)計(jì)并開(kāi)發(fā)一套基于主從結(jié)構(gòu)的分布式Netflow數(shù)據(jù)采集系統(tǒng)。該分布式系統(tǒng)從Netflow協(xié)議的特性入手，基于分布式主從架構(gòu)思想，利用并發(fā)組件模型Actor作為通訊框架，網(wǎng)絡(luò)通訊Socket作為數(shù)據(jù)傳輸工具,列存儲(chǔ)Parquet作為數(shù)據(jù)存儲(chǔ)格式，分布式存儲(chǔ)HDFS作為底層存儲(chǔ)介質(zhì)，將數(shù)據(jù)采集過(guò)程與數(shù)據(jù)處

3、理過(guò)程分離，并結(jié)合分布式的協(xié)作性、高擴(kuò)展和高容錯(cuò)性三種特性，完成Netflow數(shù)據(jù)從采集到持久化的整個(gè)流程，使得利用現(xiàn)有的分布式分析系統(tǒng)分析、挖掘特定業(yè)務(wù)，預(yù)防潛在的網(wǎng)絡(luò)威脅成為可能。
　　該分布式系統(tǒng)方便快速部署，在靈活分配采集任務(wù)和處理的任務(wù)的基礎(chǔ)上，提高系統(tǒng)的高可靠性，健壯性和高擴(kuò)展性，高效的完成數(shù)據(jù)采集、轉(zhuǎn)化、持久化等過(guò)程，滿足了當(dāng)前分布式分析系統(tǒng)對(duì)數(shù)據(jù)格式的要求和流式系統(tǒng)對(duì)數(shù)據(jù)的近似實(shí)時(shí)性要求，從而為采集Netflow數(shù)