基于日志監(jiān)控的異常檢測技術(shù)與異常監(jiān)控系統(tǒng).pdf

1、隨著計(jì)算機(jī)科學(xué)和互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步，信息技術(shù)的發(fā)展邁入了一個(gè)新的高度。支撐社會(huì)運(yùn)轉(zhuǎn)的軟、硬件系統(tǒng)，不管從規(guī)模大小或是復(fù)雜程度，都到達(dá)了前所未有的水平。如今政府大力推進(jìn)“互聯(lián)網(wǎng)+”計(jì)劃，互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)結(jié)合得更加緊密，相互促進(jìn)彼此的發(fā)展。在這個(gè)云計(jì)算和大數(shù)據(jù)大行其道的年代，維護(hù)互聯(lián)網(wǎng)及其軟硬件系統(tǒng)的穩(wěn)定運(yùn)行、檢測和修復(fù)潛在的異常就變得更加重要。
　　日志監(jiān)控是軟件監(jiān)控系統(tǒng)中的重要組成部分。通過對日志內(nèi)容和日志輸出特征的分析，可以判

2、斷當(dāng)前系統(tǒng)的運(yùn)行狀態(tài)，預(yù)測可能發(fā)生的異常。目前已經(jīng)有很多關(guān)于日志分析的研究，已有的監(jiān)控系統(tǒng)也取得了很好的效果。但當(dāng)前日志分析技術(shù)仍然面對著一些問題，主要表現(xiàn)在如下方面：1）日志數(shù)量巨大。大型軟件系統(tǒng)每天可以產(chǎn)生TB數(shù)量級大小的日志，逐條分析日志內(nèi)容會(huì)對日志分析系統(tǒng)造成巨大壓力。2）日志結(jié)構(gòu)不固定，并且可能不完整。日志的有效內(nèi)容（payload）并不遵循特定的格式，在系統(tǒng)高負(fù)載的情況下日志內(nèi)容可能出現(xiàn)丟失，給日志的自動(dòng)化處理帶來困難。3）

3、不同系統(tǒng)產(chǎn)生的日志內(nèi)容差異巨大，通用的日志監(jiān)控系統(tǒng)存在檢測準(zhǔn)確率不高的問題。
　　我們針對以上這些問題進(jìn)行了研究，經(jīng)過實(shí)驗(yàn)，提出了基于日志監(jiān)控的行為異常檢測技術(shù)，并且實(shí)現(xiàn)了相應(yīng)的日志監(jiān)控系統(tǒng)。本文的研究工作主要體現(xiàn)在以下幾個(gè)方面：
　　1.提出了基于日志標(biāo)準(zhǔn)化和層次聚類的日志預(yù)處理方法。首先對日志信息進(jìn)行正規(guī)化處理，然后采用自底向上層次聚類算法，基于日志有效內(nèi)容的相似度對日志進(jìn)行聚類。
　　2.提出了基于行為異常的通用