基于Hadoop框架網(wǎng)絡(luò)用戶瀏覽器使用行為分析系統(tǒng)研究及實現(xiàn).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展和網(wǎng)絡(luò)用戶的急劇增加使得Web日志飛速增長。如何從海量Web日志數(shù)據(jù)中挖掘出有用的信息不僅成為了當前數(shù)據(jù)挖掘的熱點，而且也是擺在多數(shù)企業(yè)面前的難題。傳統(tǒng)基于單一節(jié)點的Web挖掘系統(tǒng)的存儲和計算能力早已不能有效處理規(guī)模龐大的Web日志數(shù)據(jù)。因此采用分布式存儲和計算已經(jīng)成為當前Web日志挖掘發(fā)展的必然趨勢。Hadoop是當前使用較為廣泛的分布式存儲和計算框架。Hadoop分布式計算框架的高可靠性、高擴展性、高容錯性等優(yōu)點使其

2、成為當前海量數(shù)據(jù)處理的利器，在多個領(lǐng)域中得到了大規(guī)模應(yīng)用。
　　本論文運用Hadoop分布式架構(gòu)和Web日志挖掘技術(shù)實現(xiàn)了一個網(wǎng)絡(luò)用戶瀏覽器使用行為分析系統(tǒng)。系統(tǒng)通過挖掘海量Web日志數(shù)據(jù)研究用戶瀏覽器使用行為，從而為網(wǎng)站開發(fā)者提供支持，輔助其處理瀏覽器兼容問題。論文的主要工作和工作成果如下:
　　(1)實現(xiàn)系統(tǒng)整體架構(gòu)設(shè)計。論文從目前課題研究的現(xiàn)實問題出發(fā)，結(jié)合Hadoop分布式架構(gòu)和Web日志挖掘技術(shù)，按照Web日志數(shù)據(jù)

3、挖掘的流程，設(shè)計了分布式數(shù)據(jù)存儲、分布式數(shù)據(jù)分析和數(shù)據(jù)展示三大功能模塊。
　　(2)實現(xiàn)Web日志數(shù)據(jù)的收集和預處理。Web日志數(shù)據(jù)是系統(tǒng)處理分析的數(shù)據(jù)源。本文主要通過頁面植入代碼的技術(shù)實現(xiàn)Web日志數(shù)據(jù)的收集，同時完成Web日志的預處理，確保日志中記錄的完整性。
　　(3)實現(xiàn)了并行編程模型的開發(fā)。論文根據(jù)收集上來Web日志數(shù)據(jù)的特點，編寫了Map和Reduce函數(shù)，使系統(tǒng)能聚焦到每條日志記錄中瀏覽器信息并且識別出瀏覽器類

4、型。
　　(4)完成了Hadoop分布式平臺的搭建。在配置好硬件和軟件環(huán)境的基礎(chǔ)上，論文完成了Hadoop環(huán)境配置和配置文件的編輯，成功搭建起了Hadoop分布式平臺。
　　(5)完成了系統(tǒng)性能測試和計算結(jié)果分析應(yīng)用。論文測試系統(tǒng)處理每M數(shù)據(jù)所用時間和集群加速兩大性能指標，并且對系統(tǒng)測試得到的計算結(jié)果進行了分析應(yīng)用，輔助網(wǎng)站開發(fā)者處理瀏覽器兼容問題。
　　系統(tǒng)性能測試結(jié)果表明論文中搭建起Hadoop分布式系統(tǒng)能夠有效處