日志數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著企業(yè)信息化的不斷發(fā)展，運(yùn)行的信息系統(tǒng)不斷增加，大型企業(yè)內(nèi)部部署的各種軟硬件資源不斷增加。在企業(yè)系統(tǒng)維護(hù)的過程中，數(shù)據(jù)處理的壓力會(huì)越來越大，系統(tǒng)維護(hù)的工作量和難度不斷增加。路由器，交換機(jī)，PC服務(wù)器，阿里云服務(wù)器，各種大型應(yīng)用系統(tǒng)，數(shù)據(jù)庫等計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備產(chǎn)生的網(wǎng)絡(luò)日志，系統(tǒng)日志，各種應(yīng)用程序日志不斷增加。在日志分析方面，傳統(tǒng)的技術(shù)在處理大量復(fù)雜日志時(shí)就會(huì)出現(xiàn)非常大的計(jì)算瓶頸。日志，作為對(duì)系統(tǒng)應(yīng)用，網(wǎng)絡(luò)設(shè)備，用戶操作的記錄工具，在保障系

2、統(tǒng)安全性，排除系統(tǒng)故障，監(jiān)控系統(tǒng)和網(wǎng)絡(luò)運(yùn)營情況等很多方面都起到舉足輕重的作用。通過日志分析可以總結(jié)查看出系統(tǒng)故障出處，用戶操作行為，設(shè)備運(yùn)行狀態(tài)等很多信息。如通過查看用戶注冊登錄記錄，用戶事件記錄即可發(fā)現(xiàn)用戶是否為正常狀態(tài)。對(duì)網(wǎng)絡(luò)配置，設(shè)備參數(shù)，接口變動(dòng)等行為的記錄分析，就能獲取網(wǎng)絡(luò)運(yùn)行狀態(tài)的信息。如果能對(duì)實(shí)時(shí)產(chǎn)生的日志做到實(shí)時(shí)全量采集，就可以進(jìn)行數(shù)據(jù)實(shí)時(shí)分析或設(shè)置數(shù)據(jù)告警來對(duì)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行監(jiān)控。通過數(shù)據(jù)儀表盤展示分析結(jié)果，是企業(yè)極易

3、接受的一種數(shù)據(jù)展現(xiàn)形式，更能清晰的體現(xiàn)出數(shù)據(jù)的價(jià)值。
　　本文所描述的項(xiàng)目是作者在北京久其智通數(shù)據(jù)科技有限公司實(shí)習(xí)過程中參與設(shè)計(jì)開發(fā)的實(shí)際項(xiàng)目。本人在項(xiàng)目中參與了系統(tǒng)需求分析，設(shè)計(jì)開發(fā)及測試部署的整個(gè)過程，主要包括系統(tǒng)前期需求調(diào)研，日志數(shù)據(jù)接入系統(tǒng)、日志檢索、可視化儀表盤和告警共四個(gè)模塊的設(shè)計(jì)，以及除了日志檢索模塊之外的開發(fā)工作。實(shí)現(xiàn)了對(duì)接入到系統(tǒng)的日志數(shù)據(jù)實(shí)時(shí)采集，實(shí)時(shí)檢索，定時(shí)監(jiān)控告警，日志分析結(jié)果可視化等功能。
　　本

4、論文首先根據(jù)實(shí)際業(yè)務(wù)需求對(duì)系統(tǒng)進(jìn)行需求分析，確定了系統(tǒng)的功能需求和非功能需求。在此基礎(chǔ)上完成系統(tǒng)的概要設(shè)計(jì)，使用阿里云服務(wù)器作為開發(fā)的測試環(huán)境，并將系統(tǒng)分為檢索模塊，入數(shù)據(jù)到中間層模塊，中間層數(shù)據(jù)接入到ElasticSearch索引模塊，儀表盤模塊，告警模塊。完成數(shù)據(jù)庫設(shè)計(jì)后，在系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)部分，對(duì)負(fù)責(zé)實(shí)現(xiàn)模塊進(jìn)行功能描述和類設(shè)計(jì)，并對(duì)負(fù)責(zé)的重點(diǎn)功能的實(shí)現(xiàn)邏輯及實(shí)現(xiàn)過程中各方法的調(diào)用關(guān)系和實(shí)際運(yùn)行效果進(jìn)行了詳細(xì)的說明。