基于HADOOP的電商實時用戶行為分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，“線下線上相結(jié)合”的產(chǎn)業(yè)如雨后春筍般在各行各業(yè)茁壯發(fā)展起來，各種線下產(chǎn)業(yè)都開始走上線上之路。在此競爭日益激烈的背景下，企業(yè)如何抓住市場機遇，更好的發(fā)展。如何能夠找到更好的突破口，是迫不及待要解決的問題。特別是互聯(lián)網(wǎng)下數(shù)據(jù)爆炸式的增長。每天都會產(chǎn)生大量的數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為一種資源。它和黃金、能源一樣寶貴。大數(shù)據(jù)已經(jīng)成為企業(yè)的另外一種思維方法。如何能從這些海量數(shù)據(jù)中挖掘價值信息，成為企業(yè)的重要目標。大數(shù)據(jù)給企業(yè)帶來

2、了新的機遇，也帶來了新的挑戰(zhàn)，海量數(shù)據(jù)的存儲，收集，計算，分析都是需要解決的問題。
　　本文分析了國內(nèi)外一些公司大數(shù)據(jù)背景下用戶行為分析的主流模式，包括相關(guān)理論和流程，并由此提出了在目前電子商務(wù)迅速發(fā)展的背景下，設(shè)計了一套電子商務(wù)下實時的用戶行為分析系統(tǒng)，來解決企業(yè)面臨的大數(shù)據(jù)的采集，存儲，實時分析等方面的技術(shù)問題。從而能夠利用時效性高的特點為企業(yè)搶占先機，帶來有效價值，實現(xiàn)業(yè)務(wù)增長。
　　電商實時用戶行為分析系統(tǒng)基于Had

3、oop[1]和storm開源框架下，使用Java技術(shù)進行開發(fā)。系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、和數(shù)據(jù)分析展示層三大模塊。各個模塊下的子系統(tǒng)互相協(xié)調(diào)，共同實現(xiàn)了網(wǎng)站用戶數(shù)據(jù)的實時分析。該系統(tǒng)具有以下特點：
　　1)利用Hadoop分布式存儲應(yīng)對海量數(shù)據(jù)存儲；
　　2)流式計算引擎能夠?qū)W(wǎng)站用戶行為實時分析，并生成實時結(jié)果數(shù)據(jù)；
　　3)通過Web前端技術(shù)多維度可視化數(shù)據(jù)展示。
　　目前該系統(tǒng)在上汽某電子商務(wù)有限公司