基于Storm實時日志分析存儲系統的設計與實現.pdf

1、目前，很多互聯網公司需要對數據信息進行實時計算處理，其中包括實時的風控管理，實時的輿情監(jiān)控，實時的個性化推薦等，這些應用的數據多數來自系統產生的日志信息，因此日志信息的處理對公司業(yè)務十分重要。根據企業(yè)對日志實時處理的要求，本文設計并實現了一個基于Storm日志實時分析存儲的系統。
　　本文介紹了日志實時分析的研究意義，開發(fā)過程中涉及到的相關技術，設計了系統的整體架構和功能模塊。本文的重點主要是實時日志分析的后端架構。架構中，使用分

2、布式的Flume組件來監(jiān)控多個不同日志文件，日志信息通過Memory Channel發(fā)送到Kafka的Sink上。在日志的收集模塊和處理模塊之間使用Kafka作為中間件，實現流量削峰和業(yè)務模塊的解耦。在實時處理的模塊中采用Storm技術，Storm的Spout組件讀取Kafka上的數據，并通過Bolt節(jié)點實現對模塊的分析和處理。Spout把讀取的數據封裝成Tuple數據發(fā)送給下游的 Bolt節(jié)點，系統根據創(chuàng)建的 Topology進行流數