面向云計(jì)算系統(tǒng)的日志過濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在大規(guī)模分布式系統(tǒng)中,事件日志對于故障檢測與故障定位是一種不可或缺的數(shù)據(jù)來源。通過分析應(yīng)用程序的事件日志,可以找出導(dǎo)致系統(tǒng)降級的原因,幫助開發(fā)人員和運(yùn)維更好地進(jìn)行調(diào)試與運(yùn)營。然而,隨著系統(tǒng)規(guī)模與應(yīng)用數(shù)量的不斷增長,產(chǎn)生的日志數(shù)據(jù)量也在以勢不可擋的速度增長,給數(shù)據(jù)存儲和數(shù)據(jù)分析都帶來了巨大的負(fù)擔(dān),同時(shí)也會(huì)影響系統(tǒng)問題診斷的準(zhǔn)確性。因此,過濾事件日志便成為日志預(yù)處理過程中不可或缺的一個(gè)處理步驟,也是日志分析處理領(lǐng)域研究的熱點(diǎn)問題。
　

2、　本文在閱讀國內(nèi)外相關(guān)文獻(xiàn)基礎(chǔ)上,依據(jù)對真實(shí)云計(jì)算系統(tǒng)上事件日志的觀察,研究了日志過濾技術(shù)的基本特點(diǎn)。針對以往日志過濾技術(shù)存在的不足,設(shè)計(jì)并實(shí)現(xiàn)了針對云計(jì)算系統(tǒng)的事件日志的日志過濾系統(tǒng)。本文的主要工作總結(jié)如下:
　　(1)研究了故障預(yù)測與根本原因診斷的相關(guān)工作,分析了日志過濾與故障預(yù)測及根本原因診斷之間的關(guān)系,并且討論了Log-Filter系統(tǒng)實(shí)現(xiàn)過程中碰到的問題與涉及到的相關(guān)技術(shù)。
　　(2)設(shè)計(jì)并實(shí)現(xiàn)了面向云計(jì)算系統(tǒng)的事

3、件日志過濾系統(tǒng)Log-Filter。該系統(tǒng)使用Linux內(nèi)核提供的inotify機(jī)制實(shí)時(shí)收集目標(biāo)機(jī)器上的各種日志數(shù)據(jù),并且在日志收集器中實(shí)現(xiàn)了事件過濾機(jī)制。同時(shí),在服務(wù)端實(shí)現(xiàn)了基于異常檢測算法與文本相似性判斷的過濾方法,將日志數(shù)據(jù)流依據(jù)來源(Node)和時(shí)間段(Time interval)劃分為日志區(qū)域,取名為實(shí)例(以下稱為 instance),使用基于信息熵的異常檢測算法找出最有可能包含異常事件的instance集合。本文還提出了一種

4、基于消息類型的日志文檔相似性度量方法,采用該方法找出與異常instance集合最接近的instance集合,最后保存上述兩個(gè)集合中的日志,刪除其他事件日志。
　　(3)利用真實(shí)云計(jì)算系統(tǒng)中的事件日志對Log-Filter日志過濾系統(tǒng)進(jìn)行了實(shí)驗(yàn)評測,對其數(shù)據(jù)縮減率進(jìn)行實(shí)驗(yàn)分析。在三種不同規(guī)模的集群下,分別對比了不同日志劃分時(shí)間段和滑動(dòng)窗口取值大小對數(shù)據(jù)縮減率的影響,并給出了合理的取值。
　　(4)對在研究與開發(fā)Log-Filt