多源數據采集與分析系統的設計與實現.pdf

1、隨著互聯網的飛速發(fā)展，網絡安全問題越來越嚴重，大量的網絡攻擊監(jiān)控數據被采集下來等待分析。這些數據以文本形式被記錄下來，僅靠人工分析是一項不可能完成的工作。因此急需一套自動化分析系統來對數據定位、統計、維度計算等。
　　本系統是一個數據倉庫系統，主要有兩大類數據：原始數據和IP地址庫（簡稱“IP庫”）數據。這兩類數據都具有“多源”屬性。原始數據的多源性體現在來自于不同的采集系統，且類型不同、格式不同；IP庫數據的多源性體現在三層IP

2、庫模型。原始數據含有基本屬性：SourIP(源IP，受攻擊方)和DestIP(目的IP，攻擊方)，IP庫數據就是對其進行定位。這就是系統的核心功能。
　　面對海量的原始數據，又要求快速精確的維度分析，本文描述了為何要采用分布式系統（Apache Hadoop）加關系型數據庫（SQL Server）的復合架構，以及如何利用這些技術來建設數據倉庫。確切的說，就是ETL的建模和實施是如何進行的。
　　首先是原始數據的ETL。采集原

3、始文件裝載到Hadoop的HDFS以后，調用API抽取其數據保存到Hive數據倉庫中，同時編寫Map-Reduce程序對目前已有的各種格式區(qū)分處理，清洗，歸并，最終加工為“一致”的數據，這里所謂的一致的數據就是“五元組模型”。
　　其次是IP庫數據的ETL。五元組數據以文件的形式傳遞給SQL Server。SQL Server除了要裝載五元組數據，還有一類重要的字典數據，就是IP庫數據。本文描述了如何建設“三層IP庫模型”來滿足不

4、同關注度的IP精確定位。每一層IP庫都有關聯的建立全國的行政區(qū)劃庫與之對應，該庫至少包含省（直轄市）、市（區(qū)）、區(qū)（縣）三級的地理區(qū)劃。把采集來的IP庫按照三級區(qū)劃整理好是ETL工作量較大的部分。
　　數據倉庫建好以后，采用B/S架構的Web界面調用T-SQL（SQL Server提供的基于SQL的編程語言）存儲過程對數據倉庫中的內容進行維度查詢和分析，同時完成業(yè)務系統的功能：用戶操作、用戶權限、用戶管理、數據可視化等。提供即席查