基于Storm與Hadoop的日志數(shù)據(jù)實時處理研究.pdf

1、日志數(shù)據(jù)記錄著系統(tǒng)與網(wǎng)絡(luò)用戶行為等豐富的信息，在網(wǎng)絡(luò)管理、用戶行為分析等諸多領(lǐng)域具有較高的實用價值。隨著大數(shù)據(jù)時代的來臨，單位時間內(nèi)產(chǎn)生的日志數(shù)據(jù)規(guī)模呈幾何級數(shù)不斷增長，日志數(shù)據(jù)的多樣性、異構(gòu)性與動態(tài)變化給日志數(shù)據(jù)采集、存儲和深入分析提出了挑戰(zhàn)。傳統(tǒng)的日志處理方式主要是基于單節(jié)點服務(wù)器，沒有擴(kuò)展性，單節(jié)點在CPU、I/O與存儲方面的性能，都是十分有限的。當(dāng)前，在實際應(yīng)用中對日志數(shù)據(jù)分析的響應(yīng)時間要求越來越高，實時性已和針對大數(shù)據(jù)量的高吞

2、吐率并行計算成為了日志數(shù)據(jù)處理的基本需求。在實時處理的應(yīng)用場景中，流式計算處理能完成日志流數(shù)據(jù)的實時處理，可針對一定時間段內(nèi)規(guī)模不大的數(shù)據(jù)集完成知識提取，但數(shù)據(jù)量的局限性限制了可應(yīng)用的算法和結(jié)果的可靠程度，因此，實時計算所提取和依賴的知識亟需與離線批處理技術(shù)針對大規(guī)模離線數(shù)據(jù)的分析結(jié)果相結(jié)合。
　　針對信息化和大數(shù)據(jù)背景下飛速增長的日志數(shù)據(jù)的采集、存儲和分析面臨的主要問題與離線數(shù)據(jù)與實時流數(shù)據(jù)的知識提取及其整合問題，通過對大數(shù)據(jù)技

3、術(shù)發(fā)展理論和實踐成果的研究，在分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop上通過Storm On YARN從資源調(diào)度層面集成MapReduce和Storm兩種不同計算框架構(gòu)建日志數(shù)據(jù)實時處理平臺，采用Flume與HBase完成日志數(shù)據(jù)分布式采集與存儲，利用吞吐率較高的MapReduce完成大規(guī)模離線數(shù)據(jù)的全局性知識提取，通過 Storm進(jìn)行 Kafka緩沖區(qū)中小規(guī)模數(shù)據(jù)的突發(fā)性知識提取、結(jié)合知識進(jìn)行流數(shù)據(jù)的實時持續(xù)計算，在保證實時性的同時提高準(zhǔn)確率。

4、本文主要研究內(nèi)容與結(jié)果如下：
　?。?）日志數(shù)據(jù)實時處理平臺研究
　　研究設(shè)計具有3層結(jié)構(gòu)的日志數(shù)據(jù)實時處理平臺架構(gòu)，包括負(fù)責(zé)數(shù)據(jù)采集與存儲的數(shù)據(jù)服務(wù)層、負(fù)責(zé)數(shù)據(jù)分析的業(yè)務(wù)邏輯層以及實現(xiàn)數(shù)據(jù)可視化的Web展示層，其中利用共享知識庫實現(xiàn)離線分析與實時分析的結(jié)合，并整合Hadoop、Storm、Flume、HBase與Kafka等大數(shù)據(jù)構(gòu)件實現(xiàn)整體架構(gòu)的分布式集群環(huán)境搭建。
　　（2）日志數(shù)據(jù)的分布式采集與存儲
　　

5、采用 Flume將從多源前端服務(wù)器中采集到的日志數(shù)據(jù)幾近實時地存儲到分布式數(shù)據(jù)庫HBase，其中采用預(yù)分區(qū)與 RowKey隨機(jī)散列技術(shù)對 HBase進(jìn)行優(yōu)化。實驗結(jié)果表明，平臺有效完成了前端服務(wù)器中日志數(shù)據(jù)幾近實時的采集與存儲，經(jīng)過優(yōu)化后的 HBase在日志存儲過程中更加充分的利用集群中的I/O和CPU資源，負(fù)載更加均衡，有效解決了HBase的“熱點”問題。
　　（3）基于MapReduce的離線日志數(shù)據(jù)深度分析
　　結(jié)合M

6、apReduce計算模型將傳統(tǒng)數(shù)據(jù)挖掘算法進(jìn)行并行化處理，并將算法移植到平臺上執(zhí)行以實現(xiàn)對 HBase中歷史日志數(shù)據(jù)的全局性知識提取并存入離線知識庫。并針對實際應(yīng)用將 K-means與Apriori進(jìn)行并行化處理在 MapReduce分布式環(huán)境下完成聚類分析與關(guān)聯(lián)規(guī)則分析。實驗結(jié)果表明，實驗結(jié)果表明平臺能有效從歷史日志數(shù)據(jù)中提取出高可靠度的知識，并利用MapReduce并行技術(shù)使深度分析獲得更高的運(yùn)行效率與擴(kuò)展性，充分滿足大規(guī)模日志數(shù)據(jù)

7、知識提取的應(yīng)用需求。
　?。?）基于Storm的日志流數(shù)據(jù)實時分析
　　整合 Storm與 Kafka實現(xiàn)實時計算的日志流數(shù)據(jù)源的穩(wěn)定接入。將傳統(tǒng)數(shù)據(jù)挖掘算法結(jié)合 Storm模型完成對一定時間窗口內(nèi)小規(guī)模實時數(shù)據(jù)的突發(fā)性知識提取并存入實時知識庫，并以共享知識庫中的信息作為決策支持對日志流數(shù)據(jù)進(jìn)行 Storm實時流式計算，完成離線計算與實時計算的結(jié)合。并針對實際應(yīng)用混合 K-means、KNN等多個算法完成網(wǎng)絡(luò)異常識別。實驗結(jié)

8、果表明，平臺能有效提取出實時數(shù)據(jù)中的突發(fā)性知識，并依賴共享知識庫完成高精準(zhǔn)度的實時持續(xù)計算，Storm技術(shù)的應(yīng)用使得實時分析獲得更高的實時性，在流式數(shù)據(jù)處理方面表現(xiàn)出了較大的優(yōu)勢。
　　綜上所述，本研究構(gòu)建的日志數(shù)據(jù)實時處理平臺有效地解決了日志數(shù)據(jù)的采集、存儲與知識提取等問題，融合了Hadoop與Storm的優(yōu)勢，在利用MapReduce提取隱藏在歷史日志數(shù)據(jù)中的全局性知識的同時，基于 Storm提取小規(guī)模實時日志數(shù)據(jù)中的突發(fā)性知