互聯(lián)網(wǎng)中的海量用戶行為挖掘算法研究.pdf

1、隨著計算機技術(shù)以及互聯(lián)網(wǎng)的飛速發(fā)展，在Web中產(chǎn)生了越來越多的基于用戶的應(yīng)用，這些應(yīng)用數(shù)年來收集了海量的用戶行為數(shù)據(jù)，且數(shù)據(jù)還正以指數(shù)級增長，這些海量數(shù)據(jù)中包含了大量和用戶相關(guān)的信息。及時、精確地從這些海量用戶信息中發(fā)現(xiàn)有用的知識，挖掘出這些數(shù)據(jù)背后隱藏的用戶行為模式，能夠幫助互聯(lián)網(wǎng)應(yīng)用提供更好的用戶體驗，并提高企業(yè)的市場競爭力。本文采用數(shù)據(jù)挖掘的方法對互聯(lián)網(wǎng)中的用戶行為進行分析挖掘，找出其中隱藏的規(guī)律與模式，并從基于Web2.0的社會

2、化標(biāo)記系統(tǒng)中的用戶標(biāo)記行為分析和互聯(lián)網(wǎng)搜索引擎中的用戶檢索行為分析兩個方面進行說明。
　　 ⑴在社會化標(biāo)記系統(tǒng)中，用戶可以自主采用不同的標(biāo)簽標(biāo)記資源，并利用這些用戶標(biāo)簽實現(xiàn)信息資源的組織、分類和檢索，但是這種自由的用戶標(biāo)記行為存在著信息描述不精確、標(biāo)簽組織混亂和標(biāo)簽語意模糊等問題?，F(xiàn)有研究常采用聚類等數(shù)據(jù)挖掘技術(shù)來解決這些問題，現(xiàn)有標(biāo)簽聚類算法大多根據(jù)不同標(biāo)簽在對象中共同出現(xiàn)的次數(shù)來計算它們之間的相似度，但是這種方法聚類的精確度

3、與召回率并不高。針對此問題，本文提出了一種新的標(biāo)簽聚類算法，充分考慮標(biāo)簽的標(biāo)記信息，采用基于對象的特征向量來精確地表征一個標(biāo)簽，根據(jù)余弦相似度公式得到較為準(zhǔn)確的標(biāo)簽相似度，然后采用K-Means算法將用戶標(biāo)簽進行聚類。實驗結(jié)果表明該算法能夠得到更加精確的聚類結(jié)果。最后將該算法應(yīng)用于中國科學(xué)技術(shù)大學(xué)《圖書館交互式科研管理平臺》證明該算法的實用性。
　　 ⑵另一方面，在搜索引擎中，后臺日志會記錄用戶輸入的查詢詞和點擊的URL，作為用

4、戶與搜索引擎的交互信息。通過挖掘搜索引擎日志中的用戶行為，可以發(fā)現(xiàn)用戶的行為規(guī)律，收集統(tǒng)計信息，進而用來改善搜索引擎返回結(jié)果的排序。但是由于搜索引擎中日志記錄數(shù)據(jù)海量的特性，傳統(tǒng)的聚類算法無法適用在搜索引擎用戶行為分析中。針對此問題，本文對搜索引擎中的用戶行為采用三部圖模型建模，利用特征向量來表征用戶輸入的查詢詞，并提出一種基于倒排表查詢和MapReduce的分布式K-Means聚類算法，實驗證明該算法能夠應(yīng)對海量用戶查詢詞聚類的問題，