基于Hadoop的電子商務(wù)網(wǎng)站訪問日志處理與分析.pdf

1、用戶在訪問Web站點(diǎn)的過程中，服務(wù)器會記錄這些訪問形成訪問日志。對訪問日志進(jìn)行必要的處理可以獲取大量的決策數(shù)據(jù)。就電子商務(wù)網(wǎng)站而言，處理網(wǎng)站訪問日志有助于為網(wǎng)站的管理者提供決策支持進(jìn)而指導(dǎo)網(wǎng)站運(yùn)營，如改善網(wǎng)站結(jié)構(gòu)提升用戶體驗；進(jìn)行關(guān)鍵詞營銷提升流量、促進(jìn)轉(zhuǎn)化、提升效益；分析用戶行為進(jìn)行個性化的推薦和營銷來提高網(wǎng)站的核心競爭力，在激烈的市場競爭中保持優(yōu)勢。
　　 日志的處理與分析通常分為四個階段：數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理，分析算法的實

2、施與數(shù)據(jù)可視化。常見的在線網(wǎng)站分析工具都能在不同程度上提供從日志采集、預(yù)處理與分析，直至提供包含各項關(guān)鍵績效指標(biāo)的可視化報告解決方案，然而隨著電子商務(wù)網(wǎng)站不斷發(fā)展，用戶越來越多，業(yè)務(wù)越來越復(fù)雜，訪問日志的分析也會變得異常復(fù)雜，同時以用戶為中心的網(wǎng)站分析也變得更為重要，此時由電子商務(wù)網(wǎng)站自身組建分析團(tuán)隊，搭建自主的日志收集和處理平臺的就變得非常必要。
　　 Hadoop是Apache基金會開發(fā)的一套分布式系統(tǒng)架構(gòu)，以分布式文件系統(tǒng)

3、HDFS和并行計算模型MapReduce為核心，為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)?；贖adoop對電子商務(wù)網(wǎng)站的訪問日志進(jìn)行預(yù)處理和分析，可以利用集群優(yōu)勢并行處理與分析日志，快速及時的為網(wǎng)站運(yùn)營團(tuán)隊提供決策數(shù)據(jù)。
　　 本文提出部署專用的日志服務(wù)器，由電子商務(wù)網(wǎng)站自身組件團(tuán)隊來完成日志處理與分析各個階段的工作。采用JavaScrip標(biāo)記方式采集日志，基于Hadoop搭建自主網(wǎng)站分析平臺處理日志數(shù)據(jù)，并結(jié)合用戶數(shù)據(jù)進(jìn)