多源異構(gòu)日志的數(shù)據(jù)歸并和預(yù)處理技術(shù).pdf

1、網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)是實現(xiàn)網(wǎng)絡(luò)安全監(jiān)控的一種新技術(shù)，也是目前信息安全的研究熱點之一。網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)從整體的角度審視大規(guī)櫝網(wǎng)絡(luò)的安全狀況，對網(wǎng)絡(luò)系統(tǒng)中潛在的或已經(jīng)出現(xiàn)的異常做到及時監(jiān)測，并能對未來一段時間內(nèi)網(wǎng)絡(luò)的安全狀況做出合理準(zhǔn)確的預(yù)測。 本文在獲取網(wǎng)絡(luò)安全態(tài)勢感知需要的數(shù)據(jù)方向進(jìn)行了較全面研究，設(shè)計了四個模塊來完成多源異構(gòu)日志的歸并。 日志采集模塊采集網(wǎng)絡(luò)中所有反映網(wǎng)絡(luò)安全態(tài)勢信息的日志，包括關(guān)鍵主機日志(Win

2、dows、Linux)、網(wǎng)絡(luò)數(shù)據(jù)傳輸設(shè)備日志(交換機、路由器)、網(wǎng)絡(luò)安全設(shè)備日志(硬件防火墻、軟件防火墻)。 日志預(yù)處理模塊利用不同的規(guī)則庫(Windows、Linux、snort日志)分別對采集的多源異構(gòu)日志數(shù)據(jù)進(jìn)行預(yù)處理，去除無用和冗余的信息。 數(shù)據(jù)轉(zhuǎn)換模塊設(shè)計多源異構(gòu)日志數(shù)據(jù)的xml schema文檔，使用xmlbean技術(shù)對xml schema文檔進(jìn)行處理，結(jié)合java編程對經(jīng)過處理的日志數(shù)據(jù)進(jìn)行轉(zhuǎn)換，經(jīng)過轉(zhuǎn)換后