基于Hadoop用戶行為分析系統(tǒng)設計與實現(xiàn).pdf

1、信息技術的快速發(fā)展使互聯(lián)網(wǎng)廣泛應用于人類傳統(tǒng)產(chǎn)業(yè)。近年來，新型社交網(wǎng)絡以及移動互聯(lián)網(wǎng)技術促使網(wǎng)絡用戶數(shù)量的飛速增長，網(wǎng)絡數(shù)據(jù)呈現(xiàn)爆炸式的增長?！按髷?shù)據(jù)”成為一種關鍵技術，用來分析和挖掘網(wǎng)絡數(shù)據(jù)的潛在規(guī)律和應用價值。網(wǎng)絡數(shù)據(jù)的產(chǎn)生離不開用戶的上網(wǎng)行為。準確、快速地從海量數(shù)據(jù)中挖掘用戶的具體網(wǎng)絡行為信息、提取用戶行為特征對策略管控和智能服務以及推動未來智慧協(xié)同網(wǎng)絡發(fā)展至關重要。為此，本課題在大數(shù)據(jù)背景下，針對不能全面準確分析網(wǎng)絡用戶行為的問

2、題，利用網(wǎng)絡安全開發(fā)包Libnids和分布式平臺Hadoop關鍵技術，重點研究設計并開發(fā)出基于Hadoop的用戶行為分析系統(tǒng)。本系統(tǒng)實現(xiàn)了海量數(shù)據(jù)包抓取和分布式存儲、TCP重組和應用層HTTP行為分析等功能，不僅有助于服務提供者根據(jù)用戶行為特征提供更好的推薦服務，而且為網(wǎng)絡相關部門對網(wǎng)絡輿論進行合理的監(jiān)控奠定有效的技術支撐。
　　本文采用了基于Hadoop的用戶行為分析方法，首先利用高速捕包工具PF_RING抓取網(wǎng)絡入口的數(shù)據(jù)作為

3、用戶行為分析的數(shù)據(jù)源，并將其分布式存儲，然后調用網(wǎng)絡安全開發(fā)包工具Libnids對數(shù)據(jù)包進行重組，實現(xiàn)TCP/IP的重組，實現(xiàn)應用層HTTP還原，然后調用Hadoop集群，利用分布式Mapreduce編程來分析出用戶應用層的網(wǎng)絡行為活動，實現(xiàn)從物理層到應用層的全層分析，從用戶的搜索詞、購物趨向、網(wǎng)站留言和常規(guī)網(wǎng)站行為四個維度對用戶進行全面的定位。及時了解用戶行為和需求，進而策略管控用戶行為和優(yōu)化網(wǎng)絡服務，實現(xiàn)網(wǎng)絡智能化。
　　本文