日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究.pdf

1、互聯(lián)網(wǎng)發(fā)展趨勢(shì)日益變快，由互聯(lián)網(wǎng)產(chǎn)生的日志數(shù)據(jù)也隨之快速增長(zhǎng)。網(wǎng)絡(luò)日志具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特點(diǎn)，如何及時(shí)有效的處理日志大數(shù)據(jù)成為互聯(lián)網(wǎng)公司面臨的巨大課題。面對(duì)日志大數(shù)據(jù)，傳統(tǒng)單一節(jié)點(diǎn)的集中式處理方式已無法應(yīng)對(duì)。對(duì)于互聯(lián)網(wǎng)公司來說，對(duì)于日志分析的需求是不斷增長(zhǎng)和變化的，日志的分析過程要求快速性和周期性，日志分析工程師往往被不斷增長(zhǎng)和變化的需求困擾，需要投入大量的時(shí)間成本和人力成本來跟進(jìn)。
　　本文研究和分析了分布式存儲(chǔ)、

2、計(jì)算和調(diào)度，梳理了日志大數(shù)據(jù)分析的流程，利用Hadoop和Hive搭建了日志大數(shù)據(jù)分析平臺(tái)，將日志大數(shù)據(jù)的分析流程化和平臺(tái)化。本文提出了一種適合日志大數(shù)據(jù)處理的流程，包括日志的采集、預(yù)處理、存儲(chǔ)以及面向業(yè)務(wù)場(chǎng)景的分析四個(gè)步驟。采集過程負(fù)責(zé)將分散在各個(gè)服務(wù)器中的日志采集在一起，方便統(tǒng)一管理和使用。預(yù)處理過程負(fù)責(zé)將非格式化的日志進(jìn)行清洗和轉(zhuǎn)換，方便后續(xù)分析使用。存儲(chǔ)時(shí)采用HDFS和Hive。面向業(yè)務(wù)場(chǎng)景的分析建立在前面三步的基礎(chǔ)上，對(duì)Hiv

3、e中的日志數(shù)據(jù)進(jìn)行分析。
　　日志大數(shù)據(jù)分析平臺(tái)將日志的采集流程、預(yù)處理流程以及分析流程進(jìn)行了建模，抽象出采集任務(wù)、預(yù)處理任務(wù)以及分析任務(wù)，并對(duì)平臺(tái)用戶開放任務(wù)配置接口。用戶使用日志大數(shù)據(jù)分析平臺(tái)的方式是通過簡(jiǎn)單配置三種任務(wù)，然后交給平臺(tái)去運(yùn)行，最后在平臺(tái)中獲得結(jié)果，用戶不需要關(guān)心平臺(tái)是怎么實(shí)現(xiàn)具體的采集過程、預(yù)處理以及分析過程。為了高效的調(diào)度和執(zhí)行用戶提交的任務(wù)，本文實(shí)現(xiàn)了任務(wù)調(diào)度執(zhí)行引擎，引擎采用master-slave架構(gòu)模