基于日志的事件挖掘方法研究與應(yīng)用.pdf

1、近年來，各種IT系統(tǒng)規(guī)模日益龐大，架構(gòu)越發(fā)復(fù)雜，在生產(chǎn)環(huán)境中會生成海量的日志數(shù)據(jù)。日志數(shù)據(jù)中記錄著系統(tǒng)運(yùn)行狀態(tài)信息，分析日志數(shù)據(jù)能夠幫助管理員了解系統(tǒng)運(yùn)行狀況，同時(shí)也可以幫助管理員進(jìn)行故障原因檢測、系統(tǒng)性能優(yōu)化和異常預(yù)警等。依靠人力來分析數(shù)量如此龐大的日志數(shù)據(jù)是非常困難的，因此需要借助日志事件挖掘技術(shù)協(xié)助管理員分析日志數(shù)據(jù)。本文主要研究內(nèi)容:
　　(1)通過分析日志數(shù)據(jù)形式，設(shè)計(jì)了一種改進(jìn)的基于簽名的日志事件提取方法，將非結(jié)構(gòu)化的

2、日志數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化日志數(shù)據(jù)。該方法使用日志簽名標(biāo)識事件類型，對日志文本格式?jīng)]有特殊要求，并且能夠自主確定事件類型數(shù)量。
　　(2)研究序列模式時(shí)滯區(qū)間的挖掘方法，確定合適的時(shí)滯區(qū)間可以提高序列模式的準(zhǔn)確性。為了避免重復(fù)掃描序列數(shù)據(jù)，將事件序列轉(zhuǎn)化為有序表的形式，采用雙重循環(huán)和二分查找方法構(gòu)建有序表，可以達(dá)到比較好的時(shí)間復(fù)雜度。
　　(3)為了能夠從全局和局部的角度描述日志數(shù)據(jù)，基于事件發(fā)生頻率變化的事件摘要描述模型提出了全