基于云計算的WEB日志分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著網(wǎng)絡技術與電子商務技術的迅猛發(fā)展,運行在互聯(lián)網(wǎng)之上的各種應用和服務也隨之大量涌現(xiàn)。WEB已成為當今世界上最大的信息系統(tǒng)。作為WEB系統(tǒng)的重要組成部分,WEB日志用于保存人們?yōu)g覽的網(wǎng)頁記錄。隨著使用WEB系統(tǒng)的人數(shù)的急劇增加,WEB日志數(shù)量也在飛速的增長。如何通過數(shù)據(jù)分析技術以及數(shù)據(jù)挖掘技術,快速的從海量的 WEB日志中提取有意義的信息,成為商業(yè)界和學術界關注的重要研究課題。
　　為了能夠?qū)EB日志進行有效的分析和挖掘,人們設

2、計并實現(xiàn)了很多WEB日志分析系統(tǒng)。這些WEB日志分析系統(tǒng)主要是基于單機服務器的,單機服務器無論是CPU的性能、I/O性能還是存儲方面的性能,都是非常有限的。對于海量的WEB日志數(shù)據(jù)而言,僅僅依靠于單機系統(tǒng)進行分析與挖掘已經(jīng)遠遠不能滿足WEB日志分析的實時性要求。
　　針對這個問題,本文設計并實現(xiàn)了一套基于云計算的海量 WEB日志分析系統(tǒng),作為典型的云計算應用框架,Hadoop可以利用多個機器實現(xiàn)分布式計算功能,提高WEB日志分析的

3、實時性;同時Hadoop支持分布式存儲與并行訪問技術,能夠加快 WEB日志訪問的效率。因此本文研究并實現(xiàn)基于 Hadoop框架的分布式WEB日志分析系統(tǒng),利用分布式計算和分布式存儲,實現(xiàn)對云計算集群中海量數(shù)據(jù)的分析。
　　具體的說本文主要研究工作包括以下幾點:
　　首先,深入學習并掌握 Hadoop的核心技術以及整體框架,包括 HDFS(分布式文件系統(tǒng))和Map/Reduce(分布式計算框架),理解分布式集群的整體構架。