基于Spark的日志處理引擎設(shè)計與實現(xiàn).pdf

1、廈門大學學位論丈原創(chuàng)性聲明本人呈交的學位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體己經(jīng)發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學研究生學術(shù)活動規(guī)范(試行)》。另外，該學位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費或?qū)嶒炇业馁Y助，在()實驗室完成。(請在以上括號內(nèi)填寫課題或課題組負責人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：多砍2南伽

2、％年f舊習日摘要當前互聯(lián)網(wǎng)行業(yè)迅速發(fā)展，許多互聯(lián)網(wǎng)平臺每天產(chǎn)生大量訪問日志，能否以及如何從日志中挖掘出極有價值的信息成為從業(yè)人員關(guān)心的重要方向，但隨著日志數(shù)據(jù)量的不斷增長，依靠通用型單機分析工具已經(jīng)無法滿足業(yè)務(wù)需要。因此，一個可滿足各種不同的臨時搜索分析需求、提供可視化操作界面、定制化日志處理和開放式分析、針對海量日志的迭代處理和查詢引擎系統(tǒng)的出現(xiàn)成為必要。基于以上現(xiàn)狀，本文設(shè)計了一個基于Spark平臺的分布式日志處理引擎系統(tǒng)，以滿足海

3、量Web訪問日志進行定制化處理和開放式分析的需要。系統(tǒng)設(shè)計了日志采集、日志查詢、日志處理以及系統(tǒng)管理功能。日志采集模塊實現(xiàn)原始日志文件的采集與預(yù)處理；日志查詢模塊基于Scala的liftWeb框架，通過簡單易用的交互式界面，由業(yè)務(wù)人員根據(jù)業(yè)務(wù)特征自行設(shè)計日志處理規(guī)則，建立查詢?nèi)蝿?wù)并進行數(shù)據(jù)展示；日志處理模塊基于Spark框架的RDD迭代式計算模型，采用分布式內(nèi)存計算方式，實現(xiàn)針對海量日志的實時解析和分析處理；系統(tǒng)管理部分則主要對配置文件