基于Spark大數據平臺日志審計系統(tǒng)的設計與實現(xiàn).pdf

1、隨著計算機、網絡技術的發(fā)展，網絡安全已經逐漸成為一個全球性問題，受到世界范圍內各行各業(yè)的高度重視。危害網絡安全的行為主要有偽造、修改、竊聽和中斷。為排除系統(tǒng)隱含的安全威脅通常采用加密、身份認證、授權和審計等安全措施以提高網絡的安全性。審計是通過追蹤客戶的訪問內容和訪問方式進而查找系統(tǒng)所存的安全隱患，從而制定相應安全措施以彌補系統(tǒng)存在的安全漏洞。
　　日志審計系統(tǒng)是目前在計算機和網絡中廣泛使用的一種審計工具。隨著企業(yè)的網絡結構日益復

2、雜，日志審計系統(tǒng)面臨數據量巨大、數據存儲格式和采集方式多樣性和數據處理實時性等諸多問題。大數據技術的4V特征，Volume（大量）、Velocity（高速）、Variety（多樣性）、Value（價值），表明采用大數據技術的日志審計系統(tǒng)必然成為下一代審計系統(tǒng)的發(fā)展趨勢。本文通過對大數據Spark技術和日志審計系統(tǒng)的深入分析研究，對基于Spark技術的日志審計系統(tǒng)進行了詳盡的設計和實現(xiàn)。
　　在需求分析階段，對需求進行了整體概述并且

3、明確了系統(tǒng)開發(fā)的目標以及要解決的問題。使用用例圖等UML工具按照功能性和非功能性的劃分對系統(tǒng)需求進行了詳細說明。其中功能性需求中對集中管理平臺、告警分析、統(tǒng)計查詢、審計倒查、日志采集進行了用例描述，非功能性需求中給出了項目約束以及開發(fā)和運行期項目質量需求。
　　在系統(tǒng)架構部分根據系統(tǒng)需求分析得出了設計目標及原則并進一步給出了系統(tǒng)的物理架構和整體架構。其中物理架構系統(tǒng)在物理環(huán)境下所處的位置;系統(tǒng)的體系結構包括整個系統(tǒng)的完整功能模塊。

4、
　　在系統(tǒng)架構設計完畢的基礎上，對系統(tǒng)進行了更進一步的詳細設計。詳細設計包括整體結構設計、模塊設計和數據庫設計。整體的結構設計又分為橫向和縱向兩個角度的設計。橫向結構由三層構成:展現(xiàn)層、業(yè)務層、模型層，縱向結構由三個模塊構成:集中管理平臺、分析模塊、日志模塊。該模塊設計實現(xiàn)了日志模塊、分析模塊和集中管理平臺，完成了日志采集、標準化、規(guī)則匹配、報警功能以及視圖展示功能。數據庫設計給出了數據庫的整體結構設計和表結構。
　　在詳

5、細設計的基礎上，描述了具體實現(xiàn)和測試的部分工作內容。例如采集模塊Flume的配置文件，XML規(guī)范化文件，分析模塊主函數的代碼以及系統(tǒng)運行情況等。最后對基于Spark大數據平臺日志審計系統(tǒng)的應用情況作了簡單介紹，并進行了總結，對基Spark大數據平臺日志審計系統(tǒng)的發(fā)展進行了展望。
　　本文所涉及實現(xiàn)的基于Spark大數據平臺日志審計系統(tǒng)，具有速度快、伸縮性良好、處理數據量大等優(yōu)點，在實際運行中取得了良好效果，為日志審計系統(tǒng)的分析和研