一種基于Storm和Mongodb的分布式實時日志數(shù)據(jù)存儲與處理系統(tǒng)的設(shè)計與實現(xiàn)及應(yīng)用.pdf

1、大規(guī)模實時計算作為大數(shù)據(jù)計算的重要組成部分，大規(guī)模的實時日志數(shù)據(jù)計算正逐漸成為各個計算機或互聯(lián)網(wǎng)系統(tǒng)重要的組成部分，實時日志處理正應(yīng)用于實時統(tǒng)計，實時風控，實時推薦，實時監(jiān)控、個性化服務(wù)、實時搜索等應(yīng)用場景中。根據(jù)大規(guī)模實時日志數(shù)據(jù)存儲和處理的需求，本文設(shè)計實現(xiàn)了一個基于MongoDB和Storm的大規(guī)模分布式實時日志數(shù)據(jù)存儲與處理系統(tǒng)，本文詳細介紹了系統(tǒng)的設(shè)計需求，系統(tǒng)架構(gòu)和詳細實現(xiàn)，解決了實時分布式多源異構(gòu)日志數(shù)據(jù)日志的收集、存儲資

2、源浪費、負載均衡、降低能耗、數(shù)據(jù)分析流程復(fù)雜等問題，實現(xiàn)了大規(guī)模分布式實時日志數(shù)據(jù)的收集、分發(fā)、實時處理、實時查詢、海量存儲等功能。該系統(tǒng)基于分布式日志收集模塊，消息發(fā)布——訂閱模塊，分布式存儲模塊、分布式實時計算模塊，監(jiān)控管理模塊多個核心模塊，提供一套完整的、穩(wěn)定的、可擴展的、可容錯的、分布式的、高性能的、節(jié)能的大規(guī)模實時日志數(shù)據(jù)存儲和處理系統(tǒng)。
　　本文基于Flume設(shè)計了一個分布式日志收集模塊，實現(xiàn)多源異構(gòu)日志數(shù)據(jù)的收集、分

3、發(fā)和存儲功能，該解決方案具有易動態(tài)擴展、分布式、高性能、容錯的優(yōu)點。針對大規(guī)模實時日志數(shù)據(jù)的突發(fā)性特點，本文設(shè)計了一種基于節(jié)能負載均衡算法的分布式實時系統(tǒng)任務(wù)調(diào)度模塊，在滿足性能需求的前提下，實現(xiàn)負載均衡和節(jié)能的目的。針對大規(guī)模實時日志數(shù)據(jù)訪問具有很強的時效性特點，即當前一小段時間內(nèi)的數(shù)據(jù)對結(jié)果的影響很大，會被頻繁訪問，以前時間的數(shù)據(jù)訪問的可能性很小，設(shè)計了一種基于訪問熱度，把日志數(shù)據(jù)根據(jù)訪問熱度按不同存儲策略存儲的方案，并且將不同存儲