基于Hadoop平臺的日志分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及，web的信息量以驚人的速度增長。目前，WorldWide Web已深入到人類社會的每一個角落，成為擁有近億個工作站，數(shù)十億頁面，蘊含著巨大潛在價值知識的分布式信息空間。電子商務(wù)網(wǎng)站創(chuàng)造了前所未有的訪問量，各種大型網(wǎng)絡(luò)游戲不斷刷新著在線用戶數(shù)峰值，于此同時這些大型系統(tǒng)都記錄下了海量的用戶日志。就電子商務(wù)網(wǎng)站而言，處理網(wǎng)站訪問日志有助于為網(wǎng)站的管理者提供決策支持進而指導網(wǎng)站運營，如改善網(wǎng)站結(jié)構(gòu)提升用戶體驗;進

2、行關(guān)鍵詞營銷提升流量、促進轉(zhuǎn)化、提升效益;分析用戶行為進行個性化的推薦和營銷來提高網(wǎng)站的核心競爭力，在激烈的市場競爭中保持優(yōu)勢。
　　Hadoop是Apache下的一個開源分布式計算平臺，它提供簡單的編程模型，對大量數(shù)據(jù)進行分布式處理。Hadoop一般運行在由大量普通計算機組成的集群上。Hadoop框架的核心是分布式文件系統(tǒng)HDFS和分布式計算框架Map/Reduce，為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)。對電子商務(wù)網(wǎng)站日

3、志進行預處理和分析，可以利用集群優(yōu)勢并行處理與分析日志，快速及時的為網(wǎng)站運營團隊提供決策數(shù)據(jù)。
　　某大型網(wǎng)站的分析引擎項目就是為了向企業(yè)提供基于流量、來源通路、訪客、內(nèi)容、商品和訂單六大對象的數(shù)據(jù)分析，通過圖形報表形式向企業(yè)管理者展示網(wǎng)站的核心數(shù)據(jù)，如動銷、轉(zhuǎn)化率、流量和銷售集中度等，同時滿足企業(yè)對于Web Analysis和Business Analysis的需求。
　　本文在分析現(xiàn)有分布式儲存和計算等關(guān)鍵技術(shù)的基礎(chǔ)上，

4、結(jié)合對Hadoop平臺的分析與研究，設(shè)計實現(xiàn)了一種基于分布式計算平臺的日志分析系統(tǒng)，并使用本系統(tǒng)進行了網(wǎng)站流量、網(wǎng)站來源、網(wǎng)站訪客及訂單等分析工作。本文對該系統(tǒng)的各個功能模塊進行了詳細的闡述并對本文給出的分布式平臺的高效性進行了實驗比較分析。實驗表明，采用該分析系統(tǒng)，通過多個資源完成原先由一個節(jié)點承擔的工作，無論是在數(shù)據(jù)處理還是任務(wù)執(zhí)行上，其效率都高于基于單機集中式環(huán)境的Web日志分析，另外還可以得出任務(wù)的執(zhí)行時間不僅與集群節(jié)點數(shù)量有關(guān)