基于實時數(shù)據(jù)流處理的http數(shù)據(jù)分析可視化系統(tǒng).pdf

1、互聯(lián)網(wǎng)時代，數(shù)據(jù)量飛速增長：城市數(shù)據(jù)、醫(yī)療數(shù)據(jù)、網(wǎng)站數(shù)據(jù)等數(shù)據(jù)不斷的產(chǎn)生。這些數(shù)據(jù)隱含著人們生活活動的規(guī)律和社會發(fā)展的規(guī)律,有很大的分析價值。但在這些數(shù)據(jù)中，卻有大量數(shù)據(jù)因為難以保存而直接丟棄了。這些被丟棄的數(shù)據(jù)中隱含著有價值的信息，卻沒有得到利用。為了挖掘這些信息的隱含價值，可以使用流計算方法分析這些數(shù)據(jù)。流計算是一種數(shù)據(jù)分析方法，這種方法是實時的，它在得到數(shù)據(jù)的同時同步進行數(shù)據(jù)分析，避免了原始數(shù)據(jù)的累積。同時實時產(chǎn)生結(jié)果，保證了分析

2、結(jié)果的有效性和可用性。使用流數(shù)據(jù)分析方法，可以挖掘那些難以保存的大量數(shù)據(jù)的隱含價值。
　　用戶訪問網(wǎng)站時會產(chǎn)生大量http數(shù)據(jù)包。而因為http報文數(shù)據(jù)量大，冗余信息多，使用傳統(tǒng)的存儲再分析方法來分析http數(shù)據(jù)代價很大，性價比很低，所以人們訪問網(wǎng)站時產(chǎn)生的http報文通常用過即丟。本文使用流計算分析方法來處理http數(shù)據(jù)，可以在有限存儲容量條件下挖掘http數(shù)據(jù)的隱含價值。本文的研究方向是從http報文中實時分析網(wǎng)站的用戶行為數(shù)

3、據(jù)，包含用戶pv/uv、訪問深度、停留時間、地理位置、搜索關鍵詞等。實時顯示分析結(jié)果。分析產(chǎn)生的用戶行為數(shù)據(jù)可以指導網(wǎng)站的決策、引導網(wǎng)站的建設、驗證網(wǎng)站的營銷成果、支持上層多維用戶行為分析。
　　本文的主要貢獻有三個方面：一是通過nodejs技術(shù)和redis技術(shù)編碼完成了一套流數(shù)據(jù)分析程序；二是設計并實現(xiàn)了一套從http報文中分析用戶行為數(shù)據(jù)的拓撲流程，其中多個分析節(jié)點（pv/uv、來源網(wǎng)站、關鍵詞、訪問深度、停留時間、地理位置）