基于實(shí)時(shí)數(shù)據(jù)流處理的http數(shù)據(jù)分析可視化系統(tǒng).pdf

1、互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)量飛速增長(zhǎng)：城市數(shù)據(jù)、醫(yī)療數(shù)據(jù)、網(wǎng)站數(shù)據(jù)等數(shù)據(jù)不斷的產(chǎn)生。這些數(shù)據(jù)隱含著人們生活活動(dòng)的規(guī)律和社會(huì)發(fā)展的規(guī)律,有很大的分析價(jià)值。但在這些數(shù)據(jù)中，卻有大量數(shù)據(jù)因?yàn)殡y以保存而直接丟棄了。這些被丟棄的數(shù)據(jù)中隱含著有價(jià)值的信息，卻沒(méi)有得到利用。為了挖掘這些信息的隱含價(jià)值，可以使用流計(jì)算方法分析這些數(shù)據(jù)。流計(jì)算是一種數(shù)據(jù)分析方法，這種方法是實(shí)時(shí)的，它在得到數(shù)據(jù)的同時(shí)同步進(jìn)行數(shù)據(jù)分析，避免了原始數(shù)據(jù)的累積。同時(shí)實(shí)時(shí)產(chǎn)生結(jié)果，保證了分析

2、結(jié)果的有效性和可用性。使用流數(shù)據(jù)分析方法，可以挖掘那些難以保存的大量數(shù)據(jù)的隱含價(jià)值。
　　用戶(hù)訪(fǎng)問(wèn)網(wǎng)站時(shí)會(huì)產(chǎn)生大量http數(shù)據(jù)包。而因?yàn)閔ttp報(bào)文數(shù)據(jù)量大，冗余信息多，使用傳統(tǒng)的存儲(chǔ)再分析方法來(lái)分析http數(shù)據(jù)代價(jià)很大，性?xún)r(jià)比很低，所以人們?cè)L問(wèn)網(wǎng)站時(shí)產(chǎn)生的http報(bào)文通常用過(guò)即丟。本文使用流計(jì)算分析方法來(lái)處理http數(shù)據(jù)，可以在有限存儲(chǔ)容量條件下挖掘http數(shù)據(jù)的隱含價(jià)值。本文的研究方向是從http報(bào)文中實(shí)時(shí)分析網(wǎng)站的用戶(hù)行為數(shù)

3、據(jù)，包含用戶(hù)pv/uv、訪(fǎng)問(wèn)深度、停留時(shí)間、地理位置、搜索關(guān)鍵詞等。實(shí)時(shí)顯示分析結(jié)果。分析產(chǎn)生的用戶(hù)行為數(shù)據(jù)可以指導(dǎo)網(wǎng)站的決策、引導(dǎo)網(wǎng)站的建設(shè)、驗(yàn)證網(wǎng)站的營(yíng)銷(xiāo)成果、支持上層多維用戶(hù)行為分析。
　　本文的主要貢獻(xiàn)有三個(gè)方面：一是通過(guò)nodejs技術(shù)和redis技術(shù)編碼完成了一套流數(shù)據(jù)分析程序；二是設(shè)計(jì)并實(shí)現(xiàn)了一套從http報(bào)文中分析用戶(hù)行為數(shù)據(jù)的拓?fù)淞鞒?，其中多個(gè)分析節(jié)點(diǎn)（pv/uv、來(lái)源網(wǎng)站、關(guān)鍵詞、訪(fǎng)問(wèn)深度、停留時(shí)間、地理位置）