基于Hadoop的電子商務(wù)網(wǎng)站訪問(wèn)日志處理與分析.pdf

1、用戶在訪問(wèn)Web站點(diǎn)的過(guò)程中，服務(wù)器會(huì)記錄這些訪問(wèn)形成訪問(wèn)日志。對(duì)訪問(wèn)日志進(jìn)行必要的處理可以獲取大量的決策數(shù)據(jù)。就電子商務(wù)網(wǎng)站而言，處理網(wǎng)站訪問(wèn)日志有助于為網(wǎng)站的管理者提供決策支持進(jìn)而指導(dǎo)網(wǎng)站運(yùn)營(yíng)，如改善網(wǎng)站結(jié)構(gòu)提升用戶體驗(yàn)；進(jìn)行關(guān)鍵詞營(yíng)銷提升流量、促進(jìn)轉(zhuǎn)化、提升效益；分析用戶行為進(jìn)行個(gè)性化的推薦和營(yíng)銷來(lái)提高網(wǎng)站的核心競(jìng)爭(zhēng)力，在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持優(yōu)勢(shì)。
　　 日志的處理與分析通常分為四個(gè)階段：數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理，分析算法的實(shí)

2、施與數(shù)據(jù)可視化。常見(jiàn)的在線網(wǎng)站分析工具都能在不同程度上提供從日志采集、預(yù)處理與分析，直至提供包含各項(xiàng)關(guān)鍵績(jī)效指標(biāo)的可視化報(bào)告解決方案，然而隨著電子商務(wù)網(wǎng)站不斷發(fā)展，用戶越來(lái)越多，業(yè)務(wù)越來(lái)越復(fù)雜，訪問(wèn)日志的分析也會(huì)變得異常復(fù)雜，同時(shí)以用戶為中心的網(wǎng)站分析也變得更為重要，此時(shí)由電子商務(wù)網(wǎng)站自身組建分析團(tuán)隊(duì)，搭建自主的日志收集和處理平臺(tái)的就變得非常必要。
　　 Hadoop是Apache基金會(huì)開(kāi)發(fā)的一套分布式系統(tǒng)架構(gòu)，以分布式文件系統(tǒng)

3、HDFS和并行計(jì)算模型MapReduce為核心，為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)?；贖adoop對(duì)電子商務(wù)網(wǎng)站的訪問(wèn)日志進(jìn)行預(yù)處理和分析，可以利用集群優(yōu)勢(shì)并行處理與分析日志，快速及時(shí)的為網(wǎng)站運(yùn)營(yíng)團(tuán)隊(duì)提供決策數(shù)據(jù)。
　　 本文提出部署專用的日志服務(wù)器，由電子商務(wù)網(wǎng)站自身組件團(tuán)隊(duì)來(lái)完成日志處理與分析各個(gè)階段的工作。采用JavaScrip標(biāo)記方式采集日志，基于Hadoop搭建自主網(wǎng)站分析平臺(tái)處理日志數(shù)據(jù)，并結(jié)合用戶數(shù)據(jù)進(jìn)