日志大數(shù)據(jù)分析平臺技術(shù)研究.pdf

1、互聯(lián)網(wǎng)發(fā)展趨勢日益變快，由互聯(lián)網(wǎng)產(chǎn)生的日志數(shù)據(jù)也隨之快速增長。網(wǎng)絡(luò)日志具有海量、多樣、異構(gòu)、動態(tài)變化等特點，如何及時有效的處理日志大數(shù)據(jù)成為互聯(lián)網(wǎng)公司面臨的巨大課題。面對日志大數(shù)據(jù)，傳統(tǒng)單一節(jié)點的集中式處理方式已無法應(yīng)對。對于互聯(lián)網(wǎng)公司來說，對于日志分析的需求是不斷增長和變化的，日志的分析過程要求快速性和周期性，日志分析工程師往往被不斷增長和變化的需求困擾，需要投入大量的時間成本和人力成本來跟進。
　　本文研究和分析了分布式存儲、

2、計算和調(diào)度，梳理了日志大數(shù)據(jù)分析的流程，利用Hadoop和Hive搭建了日志大數(shù)據(jù)分析平臺，將日志大數(shù)據(jù)的分析流程化和平臺化。本文提出了一種適合日志大數(shù)據(jù)處理的流程，包括日志的采集、預(yù)處理、存儲以及面向業(yè)務(wù)場景的分析四個步驟。采集過程負責將分散在各個服務(wù)器中的日志采集在一起，方便統(tǒng)一管理和使用。預(yù)處理過程負責將非格式化的日志進行清洗和轉(zhuǎn)換，方便后續(xù)分析使用。存儲時采用HDFS和Hive。面向業(yè)務(wù)場景的分析建立在前面三步的基礎(chǔ)上，對Hiv

3、e中的日志數(shù)據(jù)進行分析。
　　日志大數(shù)據(jù)分析平臺將日志的采集流程、預(yù)處理流程以及分析流程進行了建模，抽象出采集任務(wù)、預(yù)處理任務(wù)以及分析任務(wù)，并對平臺用戶開放任務(wù)配置接口。用戶使用日志大數(shù)據(jù)分析平臺的方式是通過簡單配置三種任務(wù)，然后交給平臺去運行，最后在平臺中獲得結(jié)果，用戶不需要關(guān)心平臺是怎么實現(xiàn)具體的采集過程、預(yù)處理以及分析過程。為了高效的調(diào)度和執(zhí)行用戶提交的任務(wù)，本文實現(xiàn)了任務(wù)調(diào)度執(zhí)行引擎，引擎采用master-slave架構(gòu)模