實(shí)時(shí)分布式Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Web日志是由Web服務(wù)器產(chǎn)生的數(shù)據(jù)記錄，包含著網(wǎng)站運(yùn)行的重要信息。通過(guò)日志分析，我們可以獲取網(wǎng)站頁(yè)面的訪問(wèn)量、分析用戶行為、計(jì)算用戶搜索的關(guān)鍵詞排行等，從而實(shí)現(xiàn)企業(yè)的數(shù)據(jù)化運(yùn)營(yíng)。通常單日訪問(wèn)量在10萬(wàn)以上的中小型網(wǎng)站每天會(huì)產(chǎn)生1GB以上的日志文件，對(duì)于更大型的網(wǎng)站，可能每小時(shí)都會(huì)產(chǎn)生10GB以上的日志文件。當(dāng)日志數(shù)據(jù)以每天10GB、100GB的速度增長(zhǎng)的時(shí)候，使用單臺(tái)主機(jī)已無(wú)法滿足對(duì)數(shù)據(jù)的計(jì)算和存儲(chǔ)性能需求。因此，采用分布式計(jì)算和存儲(chǔ)

2、技術(shù)來(lái)完成對(duì)Web日志的分析處理已成為必然的發(fā)展趨勢(shì)。
　　目前較為流行的分布式計(jì)算框架是Hadoop，已被廣泛應(yīng)用于日志分析、數(shù)據(jù)挖掘等領(lǐng)域。Hadoop的核心是通過(guò)MapReduce并行計(jì)算模型和分布式存儲(chǔ)系統(tǒng)(HDFS)實(shí)現(xiàn)對(duì)程序、內(nèi)存、存儲(chǔ)資源的管理。其本質(zhì)是一種后計(jì)算流的過(guò)程，已足夠應(yīng)對(duì)海量數(shù)據(jù)計(jì)算，但在性能方面仍存在一定的缺陷：
　　(1)日志元數(shù)據(jù)首先會(huì)存入到HDFS中，在計(jì)算時(shí)才重新讀取，這其中必定引起一定的

3、計(jì)算延遲，時(shí)效性得不到保證；
　　(2) HDFS會(huì)保存大量的原始日志數(shù)據(jù)，考慮到冗余備份，會(huì)對(duì)機(jī)器的資源造成極大的浪費(fèi)。
　　(3)用戶必須實(shí)現(xiàn)復(fù)雜并且難以重用和維護(hù)的MapReduce程序，不具備良好的通用性。
　　因此，針對(duì)Hadoop計(jì)算的不足，本文提出了一種全新的計(jì)算流方案，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)可視化的Web日志分析系統(tǒng)，具體內(nèi)容包括：
　　第一，針對(duì)日志分析的應(yīng)用場(chǎng)景，定義系統(tǒng)需求，將系統(tǒng)分為數(shù)據(jù)采集和

4、存儲(chǔ)、后臺(tái)計(jì)算、前端展現(xiàn)三個(gè)部分。用戶通過(guò)系統(tǒng)界面完成日志模型配置，然后系統(tǒng)根據(jù)用戶規(guī)則生成計(jì)算任務(wù)，并將每分鐘的數(shù)據(jù)統(tǒng)計(jì)結(jié)果以報(bào)表的形式返回給用戶。
　　第二，設(shè)計(jì)系統(tǒng)架構(gòu)，優(yōu)化系統(tǒng)的計(jì)算和存儲(chǔ)性能。本文基于MapReduce并行計(jì)算模型，設(shè)計(jì)了一種更能滿足實(shí)時(shí)性、周期性需求的計(jì)算流，降低了計(jì)算過(guò)程中的延時(shí)，提高了數(shù)據(jù)的齊全度和系統(tǒng)的故障恢復(fù)能力。并根據(jù) 數(shù)據(jù)結(jié)果的周期性，設(shè)計(jì)了一套優(yōu)化的存儲(chǔ)方案，降低了存儲(chǔ)系統(tǒng)的次級(jí)索引負(fù)擔(dān)，

5、提高數(shù)據(jù)檢索效率。
　　第三，根據(jù)系統(tǒng)各模塊處理流程，實(shí)現(xiàn)系統(tǒng)功能，包括日志模型管理、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)、前端展現(xiàn)。其中描述了各模塊間的交互數(shù)據(jù)格式和通信流程，并詳細(xì)闡述了任務(wù)的調(diào)度策略和執(zhí)行過(guò)程。
　　第四，設(shè)計(jì)三個(gè)實(shí)驗(yàn)場(chǎng)景，驗(yàn)證本日志分析系統(tǒng)的功能及性能。首先通過(guò)對(duì)某電商網(wǎng)站訪問(wèn)量的統(tǒng)計(jì)，分析系統(tǒng)運(yùn)行情況，然后對(duì)比分析了單臺(tái)主機(jī)處理、并行處理、Hadoop計(jì)算處理的耗時(shí)。測(cè)試結(jié)果表明分布式計(jì)算比單機(jī)運(yùn)算的效率更高，本系統(tǒng)