基于Hadoop的海量廣告日志分析系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、百度鳳巢是百度推出的全新廣告拍賣系統(tǒng),其以每天數(shù)以億計的網(wǎng)頁搜索量為強(qiáng)大后盾,為推廣商戶帶來巨大經(jīng)濟(jì)效益的同時也為百度帶來了巨大的經(jīng)濟(jì)收入,截至2010年第三季度末,來自鳳巢的營收已占百度總營收的20％以上。然而從線上運(yùn)行以及用戶反饋情況來看,鳳巢在廣告質(zhì)量度計算、展現(xiàn)以及廣告優(yōu)化等功能方面仍存在較多問題,這些問題不僅會給用戶帶來經(jīng)濟(jì)損失還會為鳳巢造成負(fù)面影響。為此,本論文針對鳳巢的重要業(yè)務(wù)點(diǎn),設(shè)計并實(shí)現(xiàn)了基于Hadoop的海量廣告日志

2、分析系統(tǒng),旨在從海量的廣告日志中分析挖掘出異常數(shù)據(jù),并從不同維度對異常數(shù)據(jù)進(jìn)行統(tǒng)計以及可視化展示,以幫助鳳巢有效發(fā)現(xiàn)潛在的問題,對異常產(chǎn)生的內(nèi)因進(jìn)行深入分析研究,找出問題來源以提出有效的解決方案。
　　首先,本文基于鳳巢的業(yè)務(wù)功能確定了日志分析系統(tǒng)的實(shí)際需求;然后針對該需求,設(shè)計了本海量日志分析系統(tǒng)的功能結(jié)構(gòu),分為日志解析模塊、日志分析挖掘模塊以及Web展示模塊。日志解析模塊完成原始日志的數(shù)據(jù)預(yù)處理操作。日志分析挖掘模塊作為系統(tǒng)的

3、核心部分,為不同的業(yè)務(wù)監(jiān)控項(xiàng)建立計算規(guī)則模型,從經(jīng)過預(yù)處理的海量日志數(shù)據(jù)中分析挖掘出各個業(yè)務(wù)點(diǎn)的異常數(shù)據(jù),然后對異常數(shù)據(jù)進(jìn)行多維度的過濾統(tǒng)計,該模塊主要包括廣告質(zhì)量度、廣告審核以及廣告優(yōu)化建議三個業(yè)務(wù)專題。Web展現(xiàn)模塊通過動態(tài)趨勢圖以及表格等形式在網(wǎng)頁上對分析統(tǒng)計結(jié)果進(jìn)行可視化展現(xiàn)。
　　在系統(tǒng)的實(shí)現(xiàn)技術(shù)上,日志解析和日志分析挖掘模塊充分利用了Hadoop在處理海量數(shù)據(jù)方面的優(yōu)勢,將海量的原始日志及分析結(jié)果存儲于HDFS(Had

4、oop Distributed File System)中,基于Hadoop的MapReduce算法建立不同的MapReduce計算程序集來實(shí)現(xiàn)數(shù)據(jù)的處理。Web展現(xiàn)模塊使用LAMP(Linux+Apache+MySQL+PHP)技術(shù),采用較流行的Web應(yīng)用程序開源框架Cake PHP實(shí)現(xiàn)。最后,系統(tǒng)從功能和非功能上進(jìn)行了測試并得到驗(yàn)證。
　　從商用效果來看,通過本系統(tǒng)及時發(fā)現(xiàn)了潛在問題,有效減少了鳳巢的線上錯誤率,為決策發(fā)展提供