基于互聯(lián)網(wǎng)訪問日志的用戶特征分析研究.pdf

1、隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們不可或缺的信息來源。網(wǎng)絡(luò)信息資源的爆炸性增長導(dǎo)致信息過載問題日益嚴(yán)重，互聯(lián)網(wǎng)上的信息量大大超出互聯(lián)網(wǎng)用戶的需要，大量無關(guān)的信息嚴(yán)重干擾了用戶對有用信息的準(zhǔn)確選擇。海量的信息資源供給和有限的用戶需求之間的矛盾，使得我們必須尋求一種能夠快速、準(zhǔn)確地從浩瀚的信息資源中找到所需信息的方法。正是在這樣的需求驅(qū)動下，個性化服務(wù)技術(shù)應(yīng)運而生，個性化服務(wù)是一種有針對性的服務(wù)方式，依據(jù)各種渠道對資源進行收集、整理和分

2、類，向用戶提供和推薦興趣信息，以滿足用戶的需求。
　　作為個性化服務(wù)技術(shù)的核心內(nèi)容之一，用戶特征分析的目標(biāo)是分析用戶的興趣愛好、行為等特征信息，用戶特征分析是否準(zhǔn)確在很大程度上影響和決定個性化服務(wù)系統(tǒng)所提供的服務(wù)質(zhì)量。
　　運營商在為用戶提供互聯(lián)網(wǎng)訪問服務(wù)時，往往會存儲用戶的訪問日志數(shù)據(jù)。這些訪問日志蘊藏著豐富的用戶特征信息。本文以某運營商的互聯(lián)網(wǎng)訪問日志數(shù)據(jù)為基礎(chǔ)，通過對其進行分析挖掘，從中得到用戶的興趣特征。本文的工作成

3、果主要有如下四個方面:
　　(1)提出了基于MapReduce的用戶特征項提取并行化算法。該算法以用戶的訪問頁面內(nèi)容為基礎(chǔ)，依據(jù)詞條在文檔中權(quán)重提取出用戶特征關(guān)鍵詞。本文詳細(xì)介紹了該算法的并行化設(shè)計，并且在Hadoop上進行了實現(xiàn)。
　　(2)給出了具有相似特征的用戶的挖掘算法。該算法首先對用戶的訪問頁面進行聚類，然后根據(jù)聚類的結(jié)果計算用戶興趣特征相似度。本文用MapReduce、Mahout以及Hive提出了算法的并行化實

4、現(xiàn)策略，在Hadoop平臺上實現(xiàn)了該算法。
　　(3)提出了基于互聯(lián)網(wǎng)訪問日志的獨立用戶識別算法。該算法綜合利用訪問日志中IP、UserAgent、Cookie等字段分析用戶訪問規(guī)律，采用先細(xì)分再合并的思路對訪問日志進行分析。依據(jù)該思路，本文首先識別出獨立瀏覽器的日志，然后通過帳號關(guān)聯(lián)將瀏覽器日志合并成獨立用戶的日志，實現(xiàn)了對用戶的識別。
　　(4)給出了基于互聯(lián)網(wǎng)訪問日志的用戶特征分析系統(tǒng)設(shè)計方案和實現(xiàn)。在本文的設(shè)計方案中