基于Hadoop的用戶行為分析方法的應用研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與成熟，每天都有大量的用戶行為數(shù)據(jù)產(chǎn)生并存儲在網(wǎng)站服務器之上，如何挖掘潛藏在其中的用戶價值和潛在利益已經(jīng)成為當今互聯(lián)網(wǎng)企業(yè)研究的重點。海量用戶行為數(shù)據(jù)對傳統(tǒng)的數(shù)據(jù)存儲方式和數(shù)據(jù)挖掘算法都是一個挑戰(zhàn)，而Hadoop正是為解決海量數(shù)據(jù)分析問題而誕生的。
　　本文主要研究基于Hadoop的用戶行為分析方法，在分別對Hadoop框架、Web日志挖掘以及聚類算法技術(shù)進行分析研究后，提出了一種基于Canopy的K-me

2、ans聚類方法，改進后的算法解決了K-means算法在初始聚類中心的選定、異常點的處理以及分析數(shù)據(jù)的局限性問題。然后利用該算法設計了相應的用戶行為分析系統(tǒng)，對存儲在HDFS分布式存儲系統(tǒng)上的網(wǎng)站W(wǎng)eb日志進行數(shù)據(jù)挖掘，利用MapReduce分布式計算模型，實現(xiàn)了對傳統(tǒng)聚類方法Canopy算法和K-means算法的并行化執(zhí)行，完成了對Web日志中用戶行為信息的聚類分析。
　　本文通過搜狗實驗室的用戶查詢?nèi)罩镜恼鎸崝?shù)據(jù)進行了單機對比實