一個(gè)基于Hadoop的Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展和普及，Web相關(guān)組織收集了海量Web日志數(shù)據(jù)，其中蘊(yùn)藏著大量有用的信息和知識(shí)，而這些信息和知識(shí)可以被用來設(shè)計(jì)產(chǎn)品、判斷客戶生命周期、優(yōu)化Web應(yīng)用程序功能、為用戶提供更個(gè)性化的內(nèi)容以及在Web空間找到最有效的邏輯結(jié)構(gòu)等。因此，海量Web日志數(shù)據(jù)一直具有重要的實(shí)際意義。
　　傳統(tǒng)的串行計(jì)算方法已難以處理如此龐大的數(shù)據(jù)，而云計(jì)算技術(shù)可以有效處理海量數(shù)據(jù)。Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源

2、分布式計(jì)算平臺(tái)。以HDFS和MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)，為利用云計(jì)算處理海量數(shù)據(jù)提供了有效的支撐。
　　本文以作者所在公司的實(shí)習(xí)項(xiàng)目為基礎(chǔ)，目標(biāo)是對(duì)海量Web日志進(jìn)行分析，重點(diǎn)是研究Hadoop框架與傳統(tǒng)數(shù)據(jù)挖掘的結(jié)合，最終完成一個(gè)基于Hadoop的Web日志分析系統(tǒng)，從而可以從用戶上網(wǎng)數(shù)據(jù)中挖掘出有意義的信息。本文主要工作包括:
　　(1)研究了Web日志數(shù)據(jù)挖掘的相

3、關(guān)背景和意義，以及如何將Hadoop應(yīng)用到傳統(tǒng)數(shù)據(jù)挖掘中的方法。
　　(2)研究了Web日志挖掘的預(yù)處理過程。
　　(3)利用MapReduce實(shí)現(xiàn)統(tǒng)計(jì)模型?；贛apReduce技術(shù)，研究并實(shí)現(xiàn)三種并行式Apriori挖掘算法。經(jīng)過對(duì)比分析，結(jié)合Hadoop框架，提出并實(shí)現(xiàn)了一種改進(jìn)的Apriori算法，并在實(shí)際數(shù)據(jù)集上運(yùn)行以驗(yàn)證設(shè)計(jì)的有效性，實(shí)驗(yàn)分析表明所設(shè)計(jì)算法有較高的效率，在實(shí)際應(yīng)用中有較好的可行性。
　　(4