基于Hadoop海量日志文件的網(wǎng)站并發(fā)性能分析.pdf

1、商業(yè)數(shù)據(jù)、科學(xué)數(shù)據(jù)、網(wǎng)頁數(shù)據(jù)這三大類海量數(shù)據(jù)憑借著異構(gòu)性、動態(tài)性和膨脹性等特點給傳統(tǒng)的數(shù)據(jù)處理方式帶來巨大壓力。以Hadoop為代表的大規(guī)模數(shù)據(jù)處理技術(shù)突破以往的單機數(shù)據(jù)處理模式，引入大規(guī)模分布式計算機集群來提升數(shù)據(jù)處理性能，大大減輕了數(shù)據(jù)處理壓力。Hadoop技術(shù)現(xiàn)已憑借著可伸縮性、健壯性以及計算性能和成本上無可替代的優(yōu)勢逐漸發(fā)展為海量數(shù)據(jù)處理的最佳解決方案，受到越來越多IT企業(yè)的重視。
　　本文首先研究海量數(shù)據(jù)相關(guān)技術(shù)的應(yīng)用現(xiàn)

2、狀及 Hadoop平臺的設(shè)計架構(gòu)，選取網(wǎng)站自動生成的日志文件為處理對象，提出一種基于 Hadoop的海量日志文件處理模型。根據(jù)日志文件信息冗余、格式不統(tǒng)一的特點，該模型在設(shè)計時首先對格式進行解析處理，提取其中有價值的信息并將其鍵值化。再遵循MapReduce編程框架，分兩階段設(shè)計任務(wù)匯總模塊和對結(jié)果的求平均排序模塊，目的是能根據(jù)日志提供的信息統(tǒng)計出網(wǎng)站的并發(fā)量及平均響應(yīng)時間，以此探索網(wǎng)站并發(fā)量高的時候響應(yīng)時間的變化情況，分析網(wǎng)站性能的優(yōu)