面向云計算系統(tǒng)的日志過濾系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、在大規(guī)模分布式系統(tǒng)中,事件日志對于故障檢測與故障定位是一種不可或缺的數(shù)據(jù)來源。通過分析應(yīng)用程序的事件日志,可以找出導(dǎo)致系統(tǒng)降級的原因,幫助開發(fā)人員和運維更好地進行調(diào)試與運營。然而,隨著系統(tǒng)規(guī)模與應(yīng)用數(shù)量的不斷增長,產(chǎn)生的日志數(shù)據(jù)量也在以勢不可擋的速度增長,給數(shù)據(jù)存儲和數(shù)據(jù)分析都帶來了巨大的負擔(dān),同時也會影響系統(tǒng)問題診斷的準確性。因此,過濾事件日志便成為日志預(yù)處理過程中不可或缺的一個處理步驟,也是日志分析處理領(lǐng)域研究的熱點問題。
　

2、　本文在閱讀國內(nèi)外相關(guān)文獻基礎(chǔ)上,依據(jù)對真實云計算系統(tǒng)上事件日志的觀察,研究了日志過濾技術(shù)的基本特點。針對以往日志過濾技術(shù)存在的不足,設(shè)計并實現(xiàn)了針對云計算系統(tǒng)的事件日志的日志過濾系統(tǒng)。本文的主要工作總結(jié)如下:
　　(1)研究了故障預(yù)測與根本原因診斷的相關(guān)工作,分析了日志過濾與故障預(yù)測及根本原因診斷之間的關(guān)系,并且討論了Log-Filter系統(tǒng)實現(xiàn)過程中碰到的問題與涉及到的相關(guān)技術(shù)。
　　(2)設(shè)計并實現(xiàn)了面向云計算系統(tǒng)的事

3、件日志過濾系統(tǒng)Log-Filter。該系統(tǒng)使用Linux內(nèi)核提供的inotify機制實時收集目標機器上的各種日志數(shù)據(jù),并且在日志收集器中實現(xiàn)了事件過濾機制。同時,在服務(wù)端實現(xiàn)了基于異常檢測算法與文本相似性判斷的過濾方法,將日志數(shù)據(jù)流依據(jù)來源(Node)和時間段(Time interval)劃分為日志區(qū)域,取名為實例(以下稱為 instance),使用基于信息熵的異常檢測算法找出最有可能包含異常事件的instance集合。本文還提出了一種

4、基于消息類型的日志文檔相似性度量方法,采用該方法找出與異常instance集合最接近的instance集合,最后保存上述兩個集合中的日志,刪除其他事件日志。
　　(3)利用真實云計算系統(tǒng)中的事件日志對Log-Filter日志過濾系統(tǒng)進行了實驗評測,對其數(shù)據(jù)縮減率進行實驗分析。在三種不同規(guī)模的集群下,分別對比了不同日志劃分時間段和滑動窗口取值大小對數(shù)據(jù)縮減率的影響,并給出了合理的取值。
　　(4)對在研究與開發(fā)Log-Filt