大規(guī)模網(wǎng)站日志的并行分析技術(shù)研究.pdf

1、通過Web日志分析挖掘用戶的行為模式和訪問意圖，廣泛應(yīng)用于網(wǎng)站的頁面推薦和鏈接結(jié)構(gòu)優(yōu)化。隨著日志數(shù)據(jù)規(guī)模的增長，日志分析的可擴展性技術(shù)研究成為日志分析的研究方向。頻繁模式挖掘是日志分析的基礎(chǔ)應(yīng)用，本文側(cè)重研究集合頻繁模式和序列頻繁模式挖掘的可擴展性技術(shù)方法，分別通過基于磁盤的MapReduce平臺和基于內(nèi)存的Spark平臺實現(xiàn)海量日志頻繁模式的并行挖據(jù)，解決日志數(shù)據(jù)的分割和并行挖掘的負載均衡，以及分布式環(huán)境下大規(guī)模候選數(shù)據(jù)的支持度計數(shù)等

2、問題，具體研究內(nèi)容包括:
　　(1)針對Web日志數(shù)據(jù)預(yù)處理的關(guān)鍵階段—事務(wù)識別，提出一種基于候選路徑的事務(wù)識別算法，主要思想是用空間換時間，與基于用戶訪問樹的算法相比，將對日志數(shù)據(jù)的兩次遍歷降為一次，節(jié)省了遍歷用戶訪問樹的時間開銷。
　　(2)研究基于壓縮結(jié)構(gòu)FP-Tree的日志集合頻繁模式并行挖掘，提出一種近似負載均衡的并行FP-Growth算法，利用item的最大前綴路徑長度的上界來衡量挖掘item的條件模式樹的工作量

3、，工作量的近似值用于負載分組，所有計算節(jié)點根據(jù)分組結(jié)果并行地進行數(shù)據(jù)庫的劃分。與完全負載均衡的并行FP-Growth算法相比，無需構(gòu)建全局FP-Tree，消除了數(shù)據(jù)劃分過程中的單點局限，兼顧了負載的計算分配和整個計算過程的負載均衡。
　　(3)研究日志序列頻繁模式的并行挖掘，提出一種基于Spark的并行AprioriAll算法。首先，迭代過程中的數(shù)據(jù)掃描可以直接在內(nèi)存中的RDD上進行，不用去掃描硬盤。其次，計算過程中的中間結(jié)果也可

4、以直接持久化到RDD，下一步的計算可以直接從內(nèi)存中讀取數(shù)據(jù)。最后，對于分布式環(huán)境下大規(guī)模候選數(shù)據(jù)的支持度計數(shù)問題，提出了基于reduce端join的數(shù)據(jù)劃分方案。與基于MapReduce的并行AprioriAll算法相比，整個計算過程節(jié)省了大量的磁盤IO和數(shù)據(jù)Shuffle。
　　(4)最后，通過實驗驗證，基于候選的事務(wù)識別方法可以有效應(yīng)對大規(guī)模日志的事務(wù)識別，近似負載均衡的并行FP-Growth算法擁有比較好的性能優(yōu)勢，且穩(wěn)定性