基于日志采集的分布式網(wǎng)管系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，網(wǎng)絡(luò)信息流量不斷增大，系統(tǒng)日志的規(guī)模也不斷擴(kuò)大，給系統(tǒng)排障以及了解系統(tǒng)運(yùn)行狀態(tài)帶來了困難。如何有效利用在運(yùn)行過程中產(chǎn)生的大量日志信息來分析系統(tǒng)狀態(tài)和提升系統(tǒng)預(yù)警能力，滿足日志服務(wù)在性能、健壯性、可擴(kuò)展性等方面的迫切要求，是一個(gè)具有普遍意義和實(shí)用意義的研究課題。 日志分析是跟蹤計(jì)算機(jī)系統(tǒng)和網(wǎng)絡(luò)運(yùn)行的一個(gè)重要方式。僅利用日志的自動(dòng)化分析功能，往往會(huì)得到錯(cuò)誤的告警。如果用公認(rèn)的標(biāo)準(zhǔn)和規(guī)則來規(guī)范日志則可最大限度的

2、降低誤報(bào)率。 本文以大規(guī)模網(wǎng)絡(luò)監(jiān)控為應(yīng)用背景，研究日志管理軟件的問題，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于日志的網(wǎng)絡(luò)管理系統(tǒng)。本文主要工作包括： 1、首先分析了網(wǎng)絡(luò)監(jiān)視系統(tǒng)實(shí)現(xiàn)的常用技術(shù)，基于包捕獲的技術(shù)和基于網(wǎng)關(guān)設(shè)備日志分析的技術(shù)；接著詳細(xì)分析了通用的網(wǎng)絡(luò)設(shè)備日志——syslog格式日志與WELF格式日志；指出了現(xiàn)有網(wǎng)絡(luò)產(chǎn)品在管理需求上存在的局限性。 2、介紹了需要日志管理的原因，以及引入日志管理系統(tǒng)的必要性，分析了

3、日志管理系統(tǒng)的功能需求。 3、在此基礎(chǔ)上詳細(xì)介紹了本文的重點(diǎn)，基于日志分析的分布式的網(wǎng)絡(luò)監(jiān)視系統(tǒng)——LDMS(Log-based Distributed Network Management System)的設(shè)計(jì)和實(shí)現(xiàn)。LDMS整個(gè)系統(tǒng)由日志采集、日志分析、報(bào)表生成引擎、報(bào)表調(diào)度、對外接口和前臺Web應(yīng)用程序幾個(gè)模塊構(gòu)成。利用正則表達(dá)式進(jìn)行模式匹配提取原始日志有效信息，將人工智能技術(shù)中專家系統(tǒng)的引入到網(wǎng)絡(luò)管理系統(tǒng)，通過基于規(guī)則推