基于海量日志消息的軟件系統(tǒng)異常檢測(cè)技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著分布式的不斷普及，越來(lái)越多的軟件系統(tǒng)選擇以大規(guī)模服務(wù)器集群所組成的分布式系統(tǒng)為底層環(huán)境，而隨著云計(jì)算的出現(xiàn)以及發(fā)展，這些軟件應(yīng)用系統(tǒng)逐漸選擇部署在云環(huán)境中，隨之而來(lái)的問(wèn)題是系統(tǒng)規(guī)模以及復(fù)雜度的不斷提高，系統(tǒng)出現(xiàn)異常的可能性越來(lái)越大。分析系統(tǒng)日志已經(jīng)成為判斷系統(tǒng)是否出現(xiàn)異常的最主要的手段，而當(dāng)系統(tǒng)出現(xiàn)異常時(shí)，大量的系統(tǒng)運(yùn)行信息成為系統(tǒng)管理員要面對(duì)的一個(gè)難題，而這些運(yùn)行信息由系統(tǒng)各個(gè)組件的日志產(chǎn)生，因此可以通過(guò)挖掘海量日志的有用信息來(lái)對(duì)

2、系統(tǒng)異常進(jìn)行檢測(cè)。系統(tǒng)日志的規(guī)模和結(jié)構(gòu)日益復(fù)雜和龐大，手動(dòng)地檢查系統(tǒng)日志已經(jīng)變得不切實(shí)際，因此就迫切需要一個(gè)能夠在海量的系統(tǒng)日志中自動(dòng)地查找到含有異常信息的日志消息的工具。
　　本文結(jié)合使用源代碼遍歷、日志預(yù)處理、聚類算法以及異常檢測(cè)等方法設(shè)計(jì)與實(shí)現(xiàn)了基于海量日志消息的軟件系統(tǒng)的異常行為檢測(cè)技術(shù)。主要基于海量日志消息，立足于日志分析，對(duì)現(xiàn)有的技術(shù)難點(diǎn)進(jìn)行改進(jìn)，可以應(yīng)用于各種格式的系統(tǒng)日志，解決了在海量的系統(tǒng)日志中查找含有異常信息的

3、日志消息的難題。本文提出的方法的實(shí)現(xiàn)步驟如下：首先是異常檢測(cè)前的預(yù)處理工作，主要包括四個(gè)部分，第一個(gè)部分是對(duì)源代碼進(jìn)行分析，包括在抽象語(yǔ)法樹(shù)的基礎(chǔ)上對(duì)系統(tǒng)源代碼進(jìn)行遍歷分析并得到完整的日志模板集合；第二個(gè)部分是使用Soot工具遍歷系統(tǒng)源代碼，得到模板間可達(dá)關(guān)系；第三個(gè)部分是對(duì)系統(tǒng)日志的預(yù)處理，主要是將系統(tǒng)日志按線程名字分組，然后將分組后的日志與日志模板集合進(jìn)行匹配；第四部分是通過(guò)得到的模板間可達(dá)關(guān)系，將匹配后的日志進(jìn)行組內(nèi)路徑切分，得到

4、日志的執(zhí)行軌跡。然后是在基于上述的預(yù)處理工作的基礎(chǔ)上，提出了基于海量日志消息的軟件系統(tǒng)的異常行為檢測(cè)方法，在該階段首先根據(jù)日志軌跡得到日志模板間的調(diào)用次數(shù)，然后利用日志模板間的調(diào)用次數(shù)構(gòu)造相似度矩陣，接著使用改進(jìn)的聚類方法對(duì)相似度矩陣進(jìn)行聚類操作，然后根據(jù)抽樣策略抽取異常日志模板，最后根據(jù)獲得的異常日志模板即可獲得輸入的系統(tǒng)日志中的異常日志消息。在預(yù)處理和異常檢測(cè)階段都進(jìn)行了實(shí)驗(yàn)，使用Hadoop開(kāi)源框架對(duì)本文所提出方法的正確性和可行性