互聯(lián)網(wǎng)訪(fǎng)問(wèn)數(shù)據(jù)用戶(hù)識(shí)別與興趣度分析——電信用戶(hù)數(shù)據(jù).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和電子商務(wù)以及電子產(chǎn)品的普及，網(wǎng)絡(luò)信息資源的數(shù)量急劇增長(zhǎng)。一方面，用戶(hù)在瀏覽互聯(lián)網(wǎng)時(shí)需要耗費(fèi)大量的時(shí)間才能得到有用的信息。另一方面，信息提供商比如電子商務(wù)網(wǎng)站，也希望能夠根據(jù)用戶(hù)的偏好，從海量的商品信息中為用戶(hù)推薦感興趣或者需要的商品資源。
　　論文以某運(yùn)營(yíng)商的用戶(hù)寬帶訪(fǎng)問(wèn)記錄為基礎(chǔ)數(shù)據(jù)，通過(guò)對(duì)用戶(hù)訪(fǎng)問(wèn)日志記錄進(jìn)行分析，挖掘出用戶(hù)的興趣愛(ài)好特征，從而實(shí)現(xiàn)商品信息的個(gè)性化推薦。用戶(hù)訪(fǎng)問(wèn)一個(gè)網(wǎng)頁(yè)時(shí)，互聯(lián)網(wǎng)服務(wù)提

2、供商（ISP）會(huì)記錄用戶(hù)的日志信息，稱(chēng)為用戶(hù)訪(fǎng)問(wèn)日志記錄，其中包含用戶(hù)的訪(fǎng)問(wèn)行為相關(guān)信息。論文首先研究了基于K-Modes算法的獨(dú)立用戶(hù)識(shí)別技術(shù)，對(duì)日志記錄進(jìn)行會(huì)話(huà)識(shí)別分析，識(shí)別出屬于同一個(gè)會(huì)話(huà)的日記記錄集合，進(jìn)而通過(guò)聚類(lèi)技術(shù)識(shí)別出獨(dú)立用戶(hù)。在此基礎(chǔ)上，提出了基于維基百科的語(yǔ)義消歧算法，并結(jié)合該算法研究了結(jié)合語(yǔ)義的用戶(hù)興趣特征分析技術(shù)，通過(guò)構(gòu)建興趣特征分類(lèi)庫(kù)，進(jìn)一步實(shí)現(xiàn)了相似興趣特征用戶(hù)分類(lèi)，為商品信息的精確推薦提供了基礎(chǔ)。結(jié)合用戶(hù)訪(fǎng)問(wèn)

3、日志記錄的海量數(shù)據(jù)特點(diǎn)和MapReduce在大數(shù)據(jù)處理以及算法的可擴(kuò)展性上的優(yōu)勢(shì)，論文最后在Hadoop平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了這些算法?？偨Y(jié)起來(lái)，論文的主要工作包含以下幾個(gè)方面。
　　獨(dú)立用戶(hù)識(shí)別技術(shù)研究。將用戶(hù)識(shí)別過(guò)程分為數(shù)據(jù)清洗、會(huì)話(huà)識(shí)別、Cookie提取和用戶(hù)識(shí)別四個(gè)步驟。數(shù)據(jù)清洗是刪除冗余和無(wú)效數(shù)據(jù)，在此基礎(chǔ)上，提出了結(jié)合參引頁(yè)和時(shí)間閾值的會(huì)話(huà)識(shí)別方法；通過(guò)對(duì)Cookie數(shù)據(jù)的分析，提取出表示用戶(hù)登錄常用網(wǎng)站的用戶(hù)名字段，最終

4、確定了能夠有效判斷獨(dú)立用戶(hù)的十個(gè)字段，基于K-Modes算法的用戶(hù)識(shí)別技術(shù)，通過(guò)聚類(lèi)從日志記錄中識(shí)別出獨(dú)立用戶(hù)，并為其編號(hào)。
　　用戶(hù)興趣特征分析技術(shù)研究。首先，分析了總體的業(yè)務(wù)流程，根據(jù)用戶(hù)的搜索關(guān)鍵字，通過(guò)分詞技術(shù)，提取出特征關(guān)鍵字；結(jié)合維基百科語(yǔ)義詞典，提出了中文語(yǔ)義消歧算法，研究了興趣特征關(guān)鍵字消岐技術(shù)，從而得到每個(gè)用戶(hù)的興趣特征?；谟脩?hù)在每個(gè)詞語(yǔ)中相同的語(yǔ)義和分類(lèi)下的詞頻統(tǒng)計(jì)，為其標(biāo)識(shí)權(quán)重；在此基礎(chǔ)上，通過(guò)構(gòu)建一個(gè)興趣

5、特征分類(lèi)庫(kù)，并根據(jù)特征分類(lèi)庫(kù)中的每一個(gè)分類(lèi)詞與用戶(hù)的相似度，實(shí)現(xiàn)了相似興趣特征用戶(hù)的分類(lèi)。
　　結(jié)合所研究的獨(dú)立用戶(hù)識(shí)別和用戶(hù)興趣特征分析技術(shù)，論文在Hadoop環(huán)境中設(shè)計(jì)并實(shí)現(xiàn)相關(guān)算法。首先分析了系統(tǒng)的整體架構(gòu)，將系統(tǒng)分為用戶(hù)識(shí)別和用戶(hù)特征分析兩個(gè)子系統(tǒng)；并進(jìn)一步將用戶(hù)識(shí)別子系統(tǒng)分為數(shù)據(jù)清理、會(huì)話(huà)識(shí)別、Cookie提取和用戶(hù)識(shí)別四個(gè)子模塊，將用戶(hù)特征分析子系統(tǒng)分為關(guān)鍵字提取、用戶(hù)興趣特征提取和相似特征用戶(hù)挖掘三個(gè)子模塊。詳細(xì)分析