基于日志分析的AAA服務(wù)狀態(tài)監(jiān)測系統(tǒng)設(shè)計與實(shí)現(xiàn).pdf

1、隨著電信運(yùn)營商網(wǎng)絡(luò)業(yè)務(wù)類型（2G\3G\4G、WIFI、固定寬帶等）的不斷增加和用戶數(shù)量的迅猛增長，其對AAA系統(tǒng)性能和功能的要求也隨之增加，這就導(dǎo)致AAA系統(tǒng)組成設(shè)備的種類和規(guī)模不斷增多，由設(shè)備軟硬件故障、惡意攻擊等引發(fā)的系統(tǒng)故障也日益頻繁。由于各類設(shè)備之間互相影響和依賴，單個設(shè)備的故障會引發(fā)多個設(shè)備多種類型的故障日志，加之日志數(shù)據(jù)格式互不相同，導(dǎo)致通過分析日志數(shù)據(jù)定位故障源或攻擊源、確認(rèn)故障影響范圍等越來越困難。
　　針對上述

2、問題，本文主要完成了以下4項(xiàng)工作：
　　1.提出了一種日志自動收集和模板提取機(jī)制ALCTE（Auto Log Collection and Template Extraction)，首先基于Flume實(shí)現(xiàn)各類設(shè)備日志的自動收集和格式統(tǒng)一轉(zhuǎn)換，然后根據(jù)日志組成文本所包含詞匯的出現(xiàn)頻率將其劃分為模板詞和數(shù)據(jù)詞，從而將一條日志記錄分解為日志模板和數(shù)據(jù)向量，從而實(shí)現(xiàn)不同類型日志數(shù)據(jù)的自動格式歸一化，用于解決因設(shè)備類型、軟件版本、網(wǎng)絡(luò)層次等

3、不同帶來的日志格式不統(tǒng)一、分析困難的問題；
　　2.設(shè)計了一種面向故障事件對格式化日志數(shù)據(jù)進(jìn)行聚集的方法 CoLDFFE（Cluster of Log Data Facing Fault Event），該方法基于經(jīng)ALCTE機(jī)制處理的格式化日志數(shù)據(jù)實(shí)現(xiàn)，通過日志矩陣分解等手段分析各類故障事件（如數(shù)據(jù)庫宕機(jī)等）與日志數(shù)據(jù)的關(guān)系，最終獲取與某一事件相關(guān)的日志模板和數(shù)據(jù)向量集合，最終確定故障類型、涉及的設(shè)備和影響范圍等；
　　3.

4、提出了一種基于TF-IDF算法的攻擊源檢測機(jī)制ASDBT（Attack Source Detection Based on TF-IDF），在對某電信公司近一年AAA認(rèn)證日志統(tǒng)計分析的基礎(chǔ)上，該機(jī)制通過重新設(shè)定TF-IDF算法的參數(shù)，計算待篩選數(shù)據(jù)源與攻擊數(shù)據(jù)源集（已確認(rèn)的攻擊源）的關(guān)聯(lián)度，通過將計算得出的關(guān)聯(lián)度與計算獲取的關(guān)聯(lián)度閾值相比較發(fā)現(xiàn)和確定其他攻擊源，有效彌補(bǔ)了現(xiàn)有檢測機(jī)制在有效性和高效性上的不足，可高效全面的發(fā)現(xiàn)并確定其他攻