通用數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著Internet的飛速發(fā)展,網(wǎng)絡(luò)規(guī)模逐漸擴大,網(wǎng)絡(luò)流量行為也越來越復(fù)雜,導(dǎo)致異常行為增多,所以有必要對這些網(wǎng)絡(luò)行為進(jìn)行監(jiān)測和分析。因此,基于異常流量分析系統(tǒng)的數(shù)據(jù)采集、處理就顯得十分重要。隨著網(wǎng)絡(luò)帶寬的不斷增加,在高速網(wǎng)絡(luò)條件下如何更有效率的進(jìn)行數(shù)據(jù)采集和處理,對流量異常檢測及系統(tǒng)來說是一個非常關(guān)鍵的問題,也是本文研究的內(nèi)容。
　　 本文將幾種高效率的數(shù)據(jù)采集技術(shù)有機的整合起來,設(shè)計出一個通用的數(shù)據(jù)采集系統(tǒng)的系統(tǒng)架構(gòu),實現(xiàn)了

2、支持?jǐn)?shù)據(jù)包和數(shù)據(jù)流兩個層面數(shù)據(jù)的數(shù)據(jù)采集系統(tǒng),為各種異常檢測及分析系統(tǒng)提供定制數(shù)據(jù)采集的支持。本文做的主要工作如下:(1)分析了一些常見的異常流量檢測及分析系統(tǒng)的數(shù)據(jù)需求,從數(shù)據(jù)包、數(shù)據(jù)流兩個層次為異常流量檢測及分析系統(tǒng)提供數(shù)據(jù)的定制采集和數(shù)據(jù)的預(yù)處理,減輕了這些系統(tǒng)的負(fù)擔(dān)。(2)對采集到的數(shù)據(jù)包進(jìn)行流歸并,將生成的數(shù)據(jù)流和之前采集到的數(shù)據(jù)包統(tǒng)一放到存儲區(qū)內(nèi),進(jìn)行整理和調(diào)度,并通過輸出通道和輸出接口將數(shù)據(jù)傳遞給異常流量檢測及分析系統(tǒng)使用

3、。(3)設(shè)計并實現(xiàn)了通用的數(shù)據(jù)采集系統(tǒng)。詳細(xì)介紹了采集系統(tǒng)的框架、各功能模塊的功能以及各個模塊之間的聯(lián)系。設(shè)計的系統(tǒng)具有高效率、通用性和擴展性的特點。
　　 通用數(shù)據(jù)采集系統(tǒng)具有以下三個主要的特點:第一,系統(tǒng)采用的數(shù)據(jù)采集技術(shù)結(jié)合了內(nèi)存映射技術(shù)和雙輪詢技術(shù)來優(yōu)化流量采集過程,降低了系統(tǒng)的開銷,提高了效率。第二,提供定制數(shù)據(jù)采集的功能,通過不同的過濾條件來篩選數(shù)據(jù)包和數(shù)據(jù)流,為多種異常流量檢測及分析系統(tǒng)提供數(shù)據(jù),保證了其通用性。第